Поздравляем!

На прошлой неделе в Московской области проходила Летняя школа по когнитивной психологии, посвященная памяти Карла Дункера. В программу школы помимо интересных лекций и воркшопов традиционно входит постерная сессия, на которой участники представляют свои исследовательские проекты.

Мы в TCTS любим постеры, и не только потому, что постерные инструкции это самый читаемый контент нашего блога. Мы любим постеры, потому что внимание к деталям, которое нужно для создания по-настоящему хорошего постера, это одно из самых необходимых качеств для молодых учёных. Для того, чтобы сделать хороший постер, нужно хорошо понимать, что в твоём исследовательском проекте самое важное и сложное, знать стандарты оформления результатов, уметь видеть свой материал чужими глазами и в целом очень хотеть, чтобы окружающие прониклись твоей наукой. Поэтому вот уже который год мы проводим конкурс среди участников Школы имени Дункера -- мы безжалостно оцениваем их постеры, и даём приз самому, на наш взгляд, профессионально выполненному.

В этом году наш выбор пал на работу «Выборочная и параллельная исчерпывающая оценка в восприятии ансамблей» Алексея Яковлева из ВШЭ. Поздравляем Алексея и его научного руководителя И. С. Уточкина! Познакомиться с работой Алексея можно здесь.

Все участники Школы получили от нас обратную связь (а Алексей -- еще и разборный мозг), но общие наши советы сводятся к следующему:

  • Формат постера предполагает возможность представить максимум информации в графическом виде -- не игнорируйте это:
    • В небольших текстовых вставках практически не должно быть признаков «прозаического» текста (вводных слов, сложноподчинённых предложений).
    • На постере должны быть ярко выделены выводы -- промежуточные и итоговые. Что вы хотите, чтобы проходящий мимо коллега запомнил из вашей работы, не вдаваясь в детали?
    • У постера должны быть внутренние поля, и вся текстовая информация должна располагаться компактно -- без нарушения границ и разрежения текста в ширину
  • Барчарты (столбики) это не самый правильный тип визуализации для средних. Выбирайте графики в зависимости от типа данных.
  • Статистические выводы на постере должны быть оформлены так же, как в любом другом академическом жанре: точки (а не запятые) после целой части, без указания 0 целых если значение не может быть больше 1 (например, p) и т. д.
  • Не забывайте указывать на постере своё полное имя и контактный email.
  • После того, как вы послушались совета № 1 и в вашем постере стало меньше текста, сократите его еще наполовину. Честно!

Большое спасибо организаторам Школы имени Дункера за возможность распространения нашей выстраданной постерной мудрости. Всем удачных конференций!


Мотивационные письма

Все знают, что мы в TCTS любим писать справки по освоению разных академических жанров.

Например, в недрах нашего блога есть чеклист по созданию постеров, инструкция к рекомендательным письмам, план работы над эссе и много всего другого. Надо сказать, не все такие инструкции даются нам одинаково легко. Чем шире поставленная задача и спектр ситуаций, в которых она встречается, тем сложнее давать рекомендации вне контекста.

Мотивационные письма — это один из таких жанров, владение которым очень важно для успеха в академической среде, но составить внятную инструкцию к которому совсем непросто. На прошедшей #зпш_спбгу Ольга Львова и Ника Адамян рассказывали на своем мастер-классе об особенностях мотивационных писем и часто встречающихся ошибках и заблуждениях. К обсуждению присоединился и случайно оказавшийся рядом профессор Брайан Роджерс, поделившийся своим многолетним опытом оценки мотивационных писем. Презентацию можно посмотреть здесь:

К сожалению, в этой инструкции больше сказано о том, чего делать не стоит, и дано относительно мало «правильных» примеров, но это объясняется тем, что мотивационные письма в природе бывают самые разные, и одна и та же формулировка может убивать одно письмо и и идеально подходить к другому. Тем не менее, надеемся, что и в такой форме эти советы кому-то помогут.

В сети есть много разных, в основном англоязычных, инструкций на похожие темы. Нам особенно нравится эта, но что-то похожее есть на сайте большинства крупных университетов. И да, пользуйтесь инструкциями, но помните, что лучше вас самих ваши цели и ваш научный путь не знает никто.


Зимняя Психологическая Школа СПбГУ 2016

Как известно многим #горячимюнымкогнитивным, чуть больше недели назад закончилась очередная Зимняя психологическая школа, она же #зпш_спбгу.

Что интересно, в этом году Школа взяла не совсем обычный для себя научный крен, так что интересующимся когнитивной наукой было где разгуляться. Например, по утрам одновременно шли программы по психофизиологии, когнитивной психологии и анализу данных. Кроме этих трехдневных курсов от преподавателей и аспирантов СПбГУ, в программе школы были лекции от нескольких московских экспертов TCTS, а среди участников было немало знакомых по нашим конкурсам лиц. В общем, ЗПШ в этом году была удивительно когнитивной, и это не может не радовать.

Ну и ещё о нашем участии в Школе. В последний её день состоялся мастер-класс о современных тенденциях и инструментах психологических исследований в исполнении межгалактического дуэта Ники Адамян и Ильи Захарова. На мастер-классе было мало воздуха, но много интересных обсуждений и идей, за которые авторы весьма благодарны участникам. Слайды выложены на SlideShare и в нашем блоге. Psychology is no Rocket Science. Or is it?


Suck until you don’t

Биоинформатик Патрик Шлосс написал чудесный и искренний пост о том, как осваивать новые навыки (в частности, программирование), занимаясь наукой.

Если коротко, его совет заключается в том, что нужно делать плохо, чтобы становиться лучше. Казалось бы, банальность, но в академии эта банальность осложняется тем, что разнообразные навыки идут рука об руку с научными проектами, которыми мы занимаемся, и иногда в погоне за освоением инструмента можно застрять содержательно. По мнению Шлосса, ни в коем случае не нужно останавливать научную работу ради того чтобы отполировать какой-то навык -- это бессмысленно. Проекты нужно оставлять, доведя до того состояния, когда все работает, пусть даже процесс и выглядит не очень элегантно. Тогда при работе над следующей задачей можно учесть ошибки, подводные камни и обратную связь. Мы учимся на итерациях, и научные задачи диктуют эти итерации.

«Мы живем в мире, в котором нормально или считать, что станешь экспертом за 24 часа, или принять, что экспертом ты никогда не станешь, поскольку талант закладывается в нас природой». Забудьте об этом и работайте над своими навыками через ошибки и повторения. «Вы будете делать плохо, но потом вы непременно начнете делать лучше».

http://blog.mothur.org/2016/01/04/Suck-until-you-dont/

Ну, а в качестве продолжения к вдохновительному посту Патрика несколько ссылок на полезные материалы, вышедшие за время зимних каникул:

  1. Учебник «Вычислительная статистика в Python»: http://people.duke.edu/~ccc14/sta-663/
  2. Объяснение логики объектно-ориентированного программирования от Себастиаана Мато: http://www.cogsci.nl/blog/tutorials/244-the-psychology-of-object-oriented-programming
  3. Видео-туториал с советами по Python от него же https://www.youtube.com/watch?v=VBokjWj_cEA
  4. Доступное объяснение предсказательного кодирования от Мики Аллена (взгляд от сторонника этой теории) http://neuroconscience.com/2015/12/24/predictive-coding-and-how-the-dynamical-bayesian-brain-achieves-specialization-and-integration/
  5. Новая версия курса Алекса Холкомба по нейронным сетям с использованием симулятора Simbrain. http://www.psych.usyd.edu.au/staff/alexh/teaching/3014webpages_2015/

Ну и кусочек xkcd напоследок.

Screenshot 2016-01-05 00.47.31


Конкурсы TCTS 2015

Друзья!
Сегодня мы открываем новый конкурсный сезон в TCTS. На этот раз конкурсов у нас целых четыре — три студенческих (Петербург-Ярославль-Москва) и один для всех-всех-всех. Подробные условия и FAQ есть на нашем сайте (http://tcts.cogitoergo.ru/), здесь мы расскажем обо всем совсем коротко.

Итак. Для студентов 1−2 курса - конкурс эссе NEISSER. Короткий аналитический текст про «Самое интересное исследование в когнитивной психологии». Challenge для участников: найти статью с описанием исследования, убедиться, что оно действительно когнитивное, и аргументировать свой к нему интерес. Кратко, грамотно, со вкусом.

Для 3−4 курса и магистратуры — конкурс научных проектов KAHNEMAN или конкурс кода MARVIN (ранее известный под названием NERD).
Старый добрый KAHNEMAN не изменил своей классической форме — мотивационное письмо + проект исследования. Challenge: сделать мотивационное письмо профессиональным и по делу, но с нужной долей восторга; придумать по-настоящему интересное исследование; описать его кратко, ясно и в соответствии со всеми академическими правилами. Для списка литературы воспользоваться соответствующим софтом.
MARVIN — это для тех, кто любит думать руками. Нужно найти в литературе эксперимент и воспроизвести его в коде. На этот раз мы запрещаем пользоваться визуальными редакторами типа OpenSesame или интерфейса PsychoPy, что добавляет конкурсу дополнительный challenge.

И, наконец, все желающие — творчески-рисовательный конкурс BERLYNE. Мы хотим визуальных материалов, и мы хотим их много. Если вам всегда хотелось нарисовать что-нибудь близкое по духу и теме нашему сообществу, но никогда не было повода, — это ваш шанс. Мозг во всех перспективах и срезах, комиксы про нейроны, про аспирантов или про нейроны аспирантов, забавные схемки или зрительные иллюзии — тащите все, будет очень весело и красочно, а победитель получит приз. Участвовать могут все, независимо от статуса, возраста, профессии и географического положения.

В ближайшие недели мы постараемся вспомнить и обновить рекомендации по написанию эссе, мотивационных писем и экспериментов, но уже сейчас часть их можно найти в нашем блоге. Мы верим, что участие в наших конкурсах — это отличный способ потренироваться в разных видах деятельности, типичных для когнитивных ученых, поэтому надеемся, что challenge accepted, и с нетерпением ждем конкурсных работ.

Желаем удачи всем участникам и начинаем обратный отсчет до 28 декабря!

Иллюстрация Dean Trippe для Nature: исследователи из разных областей спасают мир вместе


Изучение сознания без оценок осознанности

Одна из основных проблем в изучении (о)сознания в когнитивных науках заключается в том, что как ни крути, а чтобы проверить наличие сознания необходимо каким-то образом получить об этом отчет от испытуемого. В каком бы виде этот отчет не происходил — через вербальный ответ, через нажатие на кнопку, через подергивание правого мизинца, как угодно.

Даже когда исследователи говорят, что научились проверять наличие сознания у находящихся в коме пациентов (http://www.nature.com/news/neuroscience-the-mind-reader-1.10 816), по сути речь идет о новом виде отчета через представление (воображение) специфического вида активности, которую можно более-менее надежно опознать по реакции мозга при определенной тренировке пациента. Однако само то, что мы знаем, что такая реакция мозга связана с представлением определенной активности завязано на предыдущие исследования, в которых нормальные люди давали отчет о том, что представляют эту самую активность. Грубо говоря, о том, что реакция мозга, А связана с субъективным опытом Б мы знаем из того, что до этого взрослый человек, в отношении которого нет причин сомневаться в наличии сознания, сообщил нам о наличии опыта Б примерно тогда же, когда регистрировалась реакция А. Обратный вывод — о наличии опыта Б по реакции, А — требуется огромного множества дополнительных допущений. Поэтому, например, заявления о наличии сознания у животных (https://en.wikipedia.org/wiki/Animal_consciousness#Cambridge_Declaration_on_Consciousness) поддерживаются далеко не всеми (http://plato.stanford.edu/entries/consciousness-animal/).

После этой длинной прелюдии можно перейти к тому, что послужило поводом для сегодняшнего поста. В Nature Neuroscience опубликована интересная статья «Negligible fronto-parietal BOLD activity accompanying unreportable switches in bistable perception» за авторством Jan Brascamp, Randolph Blake и Tomas Knapen (http://www.nature.com/neuro/journal/vaop/ncurrent/full/nn.4130.html, PDF можно найти через известный всем сервис, ну или написать в комментах, если не найдете). Авторы придумали интересный способ изучить изменение осознанного опыта, которое не замечается самими испытуемыми. Для этого они использовали феномен, который называется «бинокулярная конкуренция» (https://en.wikipedia.org/wiki/Binocular_rivalry). Сущность его заключается в том, что если на два глаза вам подается несогласованная информация (например, два разных лица или горизонтальные и вертикальные линии), то при определенном наборе условий вы будете в каждый момент времени воспринимать только информацию поступающую на один глаз, причем периодически переключаясь между левым и правым глазом.

Исследования этого феномена обычно проводятся с применением специального устройства, зеркального стереоскопа, но вы можете попробовать ощутить на себе эффект бинокулярной конкуренции с помощью этой картинки.


О Reproducibility Project

или «Тот редкий момент, когда нужно защитить психологию»

TL;DR:

  • В рамках большого репликационного проекта в психологии не были подтверждены больше половины из 100 результатов
  • Наиболее высокими шансами на удачное воспроизведение обладают результаты с исходно большим размером эффекта (чаще встречающиеся в когнитивной психологии).
  • Причиной низкой воспроизводимости скорее всего является существующая система публикаций, придающая неадекватно большое значение статистической значимости и новизне результатов
  • В целом, репликационный проект показывает как серьезность методических проблем в психологии, так и направленность на их скорейшее решение

_fxRX4FQFO4

ОК #горячиеюныекогнитивные, с нескольким опозданием, но и мы в TCTS решили отреагировать на новости о результатах большого репликационного исследования, описанного на этой неделе в Science[1]. Наверное, уже все видели заголовки «Больше половины психологических результатов невоспроизводимы», «Объективность большинства психологических исследований поставлена под сомнение», «Результаты многих исследований по психологии и социологии не поддаются воспроизведению и могли быть подделаны» или «Ученые усомнились в научности психологических исследований» (все названия реальны). Если вы хотите поглубже разобраться в том, куда теперь бежать и в какую сторону закатывать глаза, вам будет интересно прочесть этот длинный пост.

ПРОБЛЕМА
Прежде всего давайте спокойно, без истерики, посмотрим на то, что произошло. В течение последних трех лет героический Брайан Нозек из Университета Вирджинии руководил командой из 270 человек, занявшейся прямой репликацией сотни опубликованных психологических экспериментов. Эта мега-репликация была вызвана все возрастающим пониманием того, что многие из исследовательских и публикационных практик, принятых в сообществе, ухудшают качество получаемых результатов. За последние несколько лет в психологии было вскрыто несколько больших проблемных тем (например, очень громкой оказалась история с непонятным социальным праймингом[2]), были раскрыты громкие случаи фальсификации данных (вспомним Дидрика Штапеля[3]), и продемонстрированы странные публикационные тенденции (90% опубликованных статей подтверждают исходную гипотезу[4], нереалистичная часть статистически значимых результатов еле-еле отвечает конвенциональному p-критерию[5] и т. д.) Кроме того, стало понятно, что для того, чтобы внести неразбериху в психологическую литературу, необязательно быть монстром-фальсификатором, достаточно слегка переиграть в экспериментальные игры[6]. Например, исследователь может добрать выборку «до значимости» уже в процессе исследования, пробовать разные методы фильтрации и обработки данных (без злого умысла, из чистого интереса!), повторять эксперимент с небольшими изменениями 10 раз и опубликовать только один, удачный, результат, и т. д. Эти проблемы, спасибо журналам, публикующим только положительные результаты, существуют во всех науках, но в случае с психологией и её и без того хрупкими эффектами масштаб трагедии казался ошеломляющим. Брайан Нозек решил все же попробовать её измерить.

ПОДХОД
Для начала авторы (270!) выбрали исследования для повторения. В список[7] попали работы, опубликованные в трех высокопрофильных психологических журналах в 2008 году: общем публикующем «громкие» результаты Psychological Science, социально-психологическом Journal of Personality and Social Psychology и когнитивно-психологическом Journal of Experimental Psychology: Learning, Memory, and Cognition. Команды-участники проекта могли сами выбирать из общего пула статьи, которые были близки их научным интересам и которые можно было технически реплицировать (понятно, что финансирование 30 лишних томографий или пары обезьян, а также доступ к клинической выборке обеспечить не так просто). Участники репликационного проекта активно общались с авторами оригинальных исследований, пытаясь максимально приблизить условия репликации к условиям первоначальных экспериментов. Кроме собственно «волшебной» цифры (какой процент результатов удастся подтвердить), авторов интересовал разброс успешности репликаций между субдисциплинами, а также факторы, влияющие на успешность репликаций (например, склонны ли к удачным воспроизведениям более опытные исследователи).

РЕЗУЛЬТАТЫ
Перейдем к результатам, на примере самого банального критерия успешности — p-значений. Следите за руками. Взяли 100 экспериментов. В 97 из них был заявлен положительный результат (из них 4 имели p > .05, но это в данном случае уже мелочи). Средняя мощность репликации по имеющимся у исследователей данным составляла 92%. Это означает, что если все оригинальные эффекты существуют и были правильно измерены (!), реплицировать получится 89 из них (0.97 * 0.92). На самом деле получилось реплицировать 35 (40%). Правда, здесь есть ловушка — та самая правильность исходного измерения. Если авторы оригинальных исследований переоценивали величину искомого эффекта, реальная мощность репликации была ниже, а значит и «волшебный процент» мог быть недооценен, то есть 40% это довольно консервативная оценка. Далее, внутри этих 40% авторы обнаружили существенный разброс между субдисциплинами (точнее, статьями из двух специализированных журналов: по социальной и личностной психологии vs когнитивной психологии). Если социальнопсихологические результаты подтверждались в 25% случаев (14 из 55), то когнитивнопсихологические — в 50% случаев (21 из 42).
Не менее грустную в целом, но более информативную картину показывает сравнение размеров эффекта в оригинале и репликации — в среднем, репликации достигают лишь половины оригинального размера эффекта. Предлагаемый авторами механизм здесь довольно прост и ожидаем — в публикации попадают «лучшие образцы» результатов, зачастую в сочетании с маломощным дизайном, тогда как репликации лишены этих искажений.

Помимо измерения реплицируемости, на основе всех полученных данных авторами были выделены предикторы успешности репликаций — неудивительно, но ими оказались большой размер эффекта и низкое p-значение в оригинальном исследовании. На примере p-значений — результаты с p < .001 достигали значимости при репликации в 63% случаях, а результаты с p > .04 — в 18%. К тому же, чем «удивительнее» был исходный эффект и чем сложнее было его реплицировать, тем ниже оказалась вероятность успеха (привет Psychological Science и в целом упору на новизну). Кроме того, редко реплицируются результаты тестов интеракций по сравнению с тестами собственных эффектов факторов. Зато в отношении реплицируемости не имеет предсказательной способности опытность авторов (как оригинала так и репликации), субъективная важность результата и даже субъективное качество репликации.

GO BAYES
Но что мы все о p-значениях. Интересный взгляд на те же результаты показывает байесовская статистика. Данный анализ не проводился авторами статьи в Science, но на выложенные в открытый доступ данные накинулись десятки любопытных исследователей, и некоторые из дополнительных выводов уже вовсю обсуждаются в блогах. Прелесть байесовского подхода к анализу репликаций в том, что он позволяет не только оценить успешность репликации в дихотомии «получилось/не получилось», но и рассмотреть результаты как свидетельство в пользу гипотезы о наличии либо гипотезы об отсутствии описанного в оригинальном исследовании результате. Таким образом можно определить, какие из репликаций показали весомое свидетельство наличия эффекта, какие — весомое свидетельство отсутствия эффекта, а какие оказались неинформативны. Выводы Алекса Этза[8] в рамках этого подхода оказались довольно интересны: около 30% результатов репликаций попадают в категорию «неинформативных», то есть, не соответствуют однозначно ни гипотезе о наличии, ни гипотезе об отсутствии эффекта. Еще раз — целая треть этих аккуратнейшим образом выполненных и проанализированных репликаций попали в «серую» зону между успехом и неуспехом. В свете такой оценки становится яснее, что репликация — это не приговор и даже не «проверка», а скорее дополнительная информация для составления информированного научного вывода.

КТО ВИНОВАТ
Таким образом, если корректно подходить к интерпретации основного результата, то все, что мы можем сказать — 35 из 97 исследований получили дополнительные доказательства в свою пользу. Остальные — не получили, и сложно сказать, почему. Возможно, потому что искомые эффекты очень слабые и репликациям не хватило мощности. Или потому что этих эффектов действительно не существует. Либо в одной из двух попыток (оригинале или репликации) что-то незаметно пошло не так. Либо это случай. Либо немного отличались выборки и материал (а репликации не всегда проводились в той же стране, что исходное исследование). Причин неудачи может быть масса, так что однозначно списывать со счетов конкретные невоспроизведенные исследования не стоит. Туда же относится вопрос «Можно ли официально считать когнитивную психологию круче социальной, если ее результаты чаще воспроизводятся?». Боюсь, что социальным психологам и без того досталось. Скорее всего, когнитивистам благодарить за воспроизводимость нужно не математически-естественнонаучную шапочку, а удобные внутригрупповые дизайны и в целом сильные эффекты, обладающие относительно небольшой вариабельностью внутри популяции, а социальным психологам в этом смысле можно посочувствовать.

ЧТО ДЕЛАТЬ
Вернемся к громким журнальным заголовкам. Если это огромное исследование не было призвано оправдать или осудить психологию как науку, и даже не показало, каким результатам можно верить, а каким нет, что оно дало? В первую очередь, это смелая и трудоемкая работа по описанию проблемы, с которой борется психология, это донесение как до публики, так и до самих исследователей важности перепроверки и укрепления ранних результатов. Возможно ли повысить цифру 40% до чего-то более приятного? Пожалуй, да. Более того, за счет распространения более аккуратных исследовательских практик она скорее всего возросла с 2008 года, когда были опубликованы рассматриваемые работы. В предыдущие десятилетия те же проблемы проходила, например, медицина и генетика. Клинические испытания в итоге приняли за норму обязательную перерегистрацию исследований для того, чтобы отделить планируемые результаты от менее жестких творческих находок ученых. Генетики перешли к командной работе и крупным коллаборациям. Психология тоже идет этим путем. Все больше журналов практикует пререгистрацию[9] и настаивает на свободном доступе к данным исследования, все больше внимания уделяется адекватности размера выборок и соответствии их размеру эффекта, и раз за разом международные команды объединяются в проекты ManyLabs[10] для проведения больших репликаций. Все больше «не-новых», даже отрицательных, результатов публикуется в PLoS One или выкладывается препринтами на bioRxiv. Ситуация год от года изменяется к лучшему. Что делать с результатами предыдущих эпох? Да ничего. Относиться критично и по возможности перепроверять. Не то чтобы эта рекомендация открывала глаза кому-то, кто хоть раз пробовал разобраться в научной литературе по любой проблеме.

В общем, хоть цифры и выглядят пессимистично, ничего особенно пугающего нам не открылось. Как это и должно быть, наука перепроверяет, критикует и оздоравливает себя, так что научность психологии (если кто-то за нее волновался) подтверждается самим фактом проведения подобного исследования. А теперь все выдохнули и повторяем за мной: «Science isn’t broken. It’s just fucking hard.»

1.http://www.sciencemag.org/content/349/6251/aac4716

2. http://www.nature.com/news/nobel-laureate-challenges-psychologists-to-clean-up-their-act-1.11 535

3. https://en.wikipedia.org/wiki/Diederik_Stapel

4. http://www.nature.com/news/replication-studies-bad-copy-1.10 634

5 .https://peerj.com/articles/1142.pdf

6. http://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1 002 106

7. https://osf.io/ezcuj/wiki/Replicated%20Studies/

8. http://alexanderetz.com/2015/08/30/the-bayesian-reproducibility-project/

9. http://www.theguardian.com/science/head-quarters/2014/may/20/psychology-registration-revolution

10. https://osf.io/89vqh/

Дополнительно:

Все материалы, касающиеся репликационного проекта, включая детальные отчеты о каждой репликации, данные, и код для анализа и визуализации: https://osf.io/ezcuj/

Отличный обзор в Atlantic с правильной, на наш взгляд, подачей проблемы: http://www.theatlantic.com/health/archive/2015/08/psychology-studies-reliability-reproducability-nosek/402 466/