Две школы, одна конференция, и одна аспирантура

Четыре объявления, полезных для #горячихюныхкогнитивных: две летние школы, одна конференция, и одна аспирантура — все в России.

1. В конце августа в подмосковье будет проходить ежегодная летняя школа по когнитивной психологии памяти К. Дункера (https://vk.com/duncker_school). Мы любим эту школу и ежегодна вручаем там призы за лучший постер. Это отличная возможность рассказать о своих исследованиях, научиться чему-то новому, и познакомиться с коллегами по цеху. Отличительная особенность школы — масса здорового цинизма и скептицизма и дотошное рецензирование тезисов, так что не пропустите. Дедлайн подачи заявок — 20го июня.

2. 15 июня в Москве будет проходить 4ая постерная конференция «Когнитивная наука в Москве: новые исследования» (http://virtualcoglab.ru/posterconf2017.html). Опять же, хорошая возможность рассказать о результатах своих исследований, а кроме того это наиболее адекватная когнитивная конференция на пост-советством пространстве. Так что это еще и шанс познакомиться с тем, что делается в самых разных областях когнитивной науке на пост-советском пространстве.

3. Игорь Уточкин (https://www.hse.ru/staff/utochkin) из московской ВШЭ ищет асприантов. Игорь один из немногих психологов, активно публикующихся в хороших зарубежных журналах. Его основные исследования посвящены зрительному восприятию. Он отличный руководитель, и если вы настроены заниматься серьезной наукой, то попасть к нему в аспирантуру — очень хорошый шанс. Что важно, приемная кампания в ВШЭ уже идет, так что стоит поторопиться. Подробности см. тут — https://vk.com/wall4434090723.

4. С 22 июля по 6 августа будет проходить еще одна летняя школа, полезная для #горячихюныхнувыпоняли — школа по анализу данных АНДАН (http://letnyayashkola.org/andan/). Это именно школа по анализу данных, ориентированная как на начинающих, так и уже не очень начинающих исследователей. В программе — активное изучение R и (опционально, насколько мы понимаем) PsychoPy с глубоким погружением. Дедлайн вроде бы 20 мая — уточняйте у организаторов.

Ну и в качестве бонуса. В рамках курса «Основы статистики» на stepic.org появился первый в России подробный тьюториал по смешанным регрессионным моделям (http://bit.ly/2nDLLRm). Это очень мощный современный метод анализа данных, позволяющий учесть изменчивость внутри определенных подгрупп наблюдений (например, испытуемых). Такой незаконнорожденный отпрыск ановы с повторными измерениями и регрессии, на стероидах. Крайне рекомендуем!


Зимняя Психологическая Школа СПбГУ 2016

Как известно многим #горячимюнымкогнитивным, чуть больше недели назад закончилась очередная Зимняя психологическая школа, она же #зпш_спбгу.

Что интересно, в этом году Школа взяла не совсем обычный для себя научный крен, так что интересующимся когнитивной наукой было где разгуляться. Например, по утрам одновременно шли программы по психофизиологии, когнитивной психологии и анализу данных. Кроме этих трехдневных курсов от преподавателей и аспирантов СПбГУ, в программе школы были лекции от нескольких московских экспертов TCTS, а среди участников было немало знакомых по нашим конкурсам лиц. В общем, ЗПШ в этом году была удивительно когнитивной, и это не может не радовать.

Ну и ещё о нашем участии в Школе. В последний её день состоялся мастер-класс о современных тенденциях и инструментах психологических исследований в исполнении межгалактического дуэта Ники Адамян и Ильи Захарова. На мастер-классе было мало воздуха, но много интересных обсуждений и идей, за которые авторы весьма благодарны участникам. Слайды выложены на SlideShare и в нашем блоге. Psychology is no Rocket Science. Or is it?


Как не путать ошибки I и II рода

Ошибки первого и второго рода -- важные для понимания понятия, но запомнить, какой тип описывает ложноположительность, а какой -- ложноотрицательность, с первого раза удается далеко не всем.

Психолог Том Стаффорд (@tomstafford) опубликовал в своем блоге одну замечательную мнемонику:

«В притче про мальчика и волка есть ошибка и первого, и второго рода, именно в таком порядке. Сначала все верили, что волк есть, но на самом деле его не было. Потом они думали, что волка нет, но он был. Замени „волк“ на „эффект“ -- и ты разобрался».

Помимо этой мнемоники, есть пара хорошо запоминающихся картинок на ту же тему.

*источник утерян*

и *блистательный @ResearchMark*

Любая из этих историй или картинок поможет вам больше никогда не путать ошибки I и II рода.


Автоматическая проверка правильности p-значений в статьях

Неделю назад в журнале Behavior Research Methods появилась интересная статья (http://link.springer.com/article/10.3758/s13428−015−0664−2/fulltext.html), в которой авторы описывают новый пакет для R, позволяющий автоматически проверять правильность расчета p-значений.

По сути все очень просто — программа анализирует текст статьи (который при необходимости переводится из PDF или html в txt), и выделяет из него с помощью регулярных выражений (http://bit.ly/1KK2GFF) текст, соответствующий стандартному APA-описанию статистики. Например, для t-теста ищется паттерн наподобие t (DF) = X, p = Y (с учетом возможного появления пробелов, знака < после p и разных форматов чисел). После чего для указанных DF и X пересчитывается Y и сравнивается с указанным в статье.

Сравнение с результатами проверки вручную показали, что пакет неплохо справляется, хотя ожидаемо пропускает тесты в таблицах, иногда не справляется с односторонними тестами, не понимает неформатные записи, и не всегда ловит поправки на множественные сравнения. Тем не менее, порядка 70% результатов корректно вылавливаются и общий процент рассогласований между подсчитанным p и p, описанным в статье, составляет 4.3% при ручном подсчете и 5.8% при автоматическом. То есть в общем и целом если уж выловил, то проверит скорее правильно.

С помощью этого пакета товарищи проверили 30 717 статей, из них p-значения встречались в 16 695 статьях. Анализировались два типа расхождений — незначительные (p > .05 или < .05 и таковым и остается при пересчете) и грубые (p < .05, но становится незначимым при пересчете, или наоборот).

Основные результаты анализа таковы. Хотя бы одна грубая ошибка при расчете p встречается в 13% статей, а на одну статью в среднем приходится 1.6% грубых ошибок. При этом важный позитивный момент — доля грубых ошибок с годами снижается. Причем как показывает рисунок ниже снижается она в основном за счет уменьшения доли грубых ошибок среди значимых результатов, то есть уменьшается число ошибочно значимых находок. Интересно также, что особых различий между журналами в различных областях нет, так что нельзя сказать, что социальные психологи чаще клинических или общих делают ошибки в подсчетах.

Было бы любопытно доработать этот пакет до автоматической проверки соответствия описания результатов стандартам. Тогда он мог бы стать таким базовым фильтром при публикации статей и помог бы еще больше улучшить качество публикаций. Ну и хорошо бы, чтобы его начали использовать в России и не только для статей, но и, например, для выпускных работ.

Рисунок 7 из Nuijten et al. (2015)
Рисунок 7 из Nuijten et al. (2015). Изменение доли грубых ошибок по годам среди значимых (верхняя линия) и незначимых (нижняя линия) результатов.


Парад ссылок

Три ссылки на свежие учебные материалы, которые могут оказаться полезными для когнитивистов. Enjoy!

  • В издательстве O’Reilly Media вышел онлайн-сборник Python for Scientists, в который вошли главы из нескольких книг по программированию и анализу данных (Python for Data Analysis, Bioinformatics Data Skills, Effective Computation in Physics и Python Data Science Handbook). Сборник находится в открытом доступе по ссылке: www.oreilly.com/programming/free/python-for-scientists.csp
  • Исследователи из Radboud University опубликовали уроки по бихевиоральному моделированию, а именно по обучению с подкреплением и байесовскому обучению (MATLAB)
    • http://hannekedenouden.ruhosting.nl/RLtutorial/Instructions.html
  • Опубликованы демонстрации по байесовскому анализу данных в Python и Matlab (дополнение к книге Bayesian Data Analysis, 3rd ed by Gelman et al.)
    • https://github.com/avehtari/BDA_py_demo
    • https://github.com/avehtari/BDA_m_demos


Школа по анализу ЭЭГ данных в Москве, 20−25 июля 2015

#горячиеюныекогнитивные из Москвы, а также все, кто до этой самой Москвы готов доехать! Уже на следующей неделе, 20−25 июля в ПИ РАО пройде школа по современным методам анализа ЭЭГ данных с крутыми лекторами и интересными темами. Информационное письмо прикреплено к посту. Вкратце — вас ждут пять полных дней лекций и практикумов по различным аспектам анализа ЭЭГ, включая методв вызванных потенциалов, спектральный анализ, метод независимых компонент и работу с базами ЭЭГ-данных. Короче — круто!

Информационное письмо: tcts.cogitoergo.ru/wp-content/uploads/2015/07/EEG-Seminar_Moscow-2015.pdf

Число мест ограничено, чтобы принять участие пишите Илье Захарову ().


Идеальный t-тест

Дэниель Лакенс выложил скрипт для R, в котором он описывает идеальный (с его точки зрения) алгоритм расчетов и описания результатов при использовании t-теста.

В нем представлены три подхода — классический, байесовский, и робастный. Загнав в скрипт свои переменные, вы получите подробный отчет с пояснениями по результатам анализа и корректным описанием результатов, выглядящий примерно так: https://github.com/Lakens/perfect-t-test/blob/master/Output_demo_independent_t-test.pdf. Сам скрипт выложен на гитхабе (https://github.com/Lakens/Perfect-t-test), а подробнее почитать про обоснование можно в блоге: http://daniellakens.blogspot.nl/2015/05/the-perfect-t-test.html

Очень советуем всем взглянуть на этот скрипт и посмотреть логику и описание результатов. t-тест — один из наиболее часто применяемых методов, и знать как его использовать нужно всем. Однако нужно также понимать, что идеалы у всех разные, и не воспринимать предложенный текст как догму.

nowhere

xkcd.com/650/


Первый русскоязычный онлайн-курс по R

День хороших новостей! Горячие-юные-когнитивные Иван Иванчей и Анатолий Карпов записали первый русскоязычный онлайн-курс по R. Курс рассчитан на начинающих, представляющих себе основы статистики, и желающих научиться использовать R для анализа.

Слово авторам:
«В рамках трёхнедельного курса рассматриваются все основные этапы статистического анализа R, считывание данных, предобработка данных, применение основных статистических методов и визуализация результатов. Слушатели научатся основным элементам программирования на языке R, что позволит быстро и эффективно решать широчайший спектр задач, возникающих при обработке данных».

Теперь у вас просто не будет оправданий, чтобы не использовать R!

Анализ данных в R from Stepic on Vimeo.


Применение теории обнаружения сигнала к метакогнициям

Ну, а теперь — немного о серьезном.

Многие из тех, кто занимался экспериментами в когнитивной психологии, сталкивались с вопросами измерения «метакогниций», в основном в виде измерения уверенности. Интуитивно понятно и научно подтверждено, что уверенный ответ чаще является правильным. Изменения в степени связи между уверенностью и правильностью ответов рассматриваются как один из показателей неосознаваемой обработки информации. Классически, для измерения этой связи используются коэффициенты корреляции.

В своей новой статье в Frontiers in Human Neuroscience Стив Флеминга и Хакван Лау критикуют этот подход, отмечая, что подобный способ измерения подвержен нежелательным влияниям из-за систематических отклонений в ответах (response biases). В психофизических исследований с подобными отклонениями уже давно научились справляться при помощи методов, основанных на теории измерения сигнала (SDT). Флеминг и Лау предложили подобный подход применить и в исследованиях метакогниций (стоит отметить, что эта идея разрабатывалась уже достаточно давно, но статья во Frontiers обобщает наработки). Применение методов SDT к метакогнициям не только улучшает точность измерения, но и дает возможность выделить компоненты уверенности, такие как собственно метакогнитивная ошибка (стабильное субъективное недооценивание или переоценивание собственной результативности), метакогнитивная чувствительность (насколько человек способен отличить собственный неправильный ответ от правильного) и эффективность метакогниции (насколько уверенность реально отражает результативность у конкретного человека). Измерение этих компонентов позволяет с гораздо большей точностью обнаруживать метакогнитивные сдвиги при решении различных задач, и открывает богатые просторы для анализа и моделирования метакогниций.

Всем, кто занимается или планирует заниматься анализом уверенности — TCTS рекомендует.

Препринт — http://journal.frontiersin.org/Journal/10.3389/fnhum.2014.443/abstract

pic: xkcd