Рубрика: Do better science

О чем стоит и не стоит упоминать в рекомендательных письмах

О чем стоит и не стоит упоминать в рекомендательных письмах? Поскольку жанр рекомендательных писем в России не очень развит, часто оказывается так, что не только студент, но и руководитель не знают, о чем и как писать, когда студенту нужна рекомендация для поступления куда-либо или для поездки на летнюю школу.

Сразу заметим, что речь идет о рекомендательных письмах на английском. Внутри российской академической среды, к сожалению, рекомендательные письма часто формальны, и очень распространена порочная практика, когда студент пишет «рыбу» письма. В англоязычной среде рекомендательные письма, напротив, играют значительную роль, и написание письма студентом за руководителя не принято. Более того, студенты чаще всего не знают содержания письма — за редким исключением, когда речь идет о бумажных письмах, или когда по каким-то причинам отправитель или получатель письма решают обсудить его со студентом.

Тем не менее, например, при поступлении в магистратуру вам может потребоваться рекомендация руководителя, а он может не особенно быть в курсе, что там должно быть, и как ее вообще писать. Ну и вообще, ситуации бывают разные, иногда руководитель готов подписать что угодно, но сам писать ничего не будет. Поэтому вот краткая инструкция.

Есть три основных правила:

1. Письмо должно быть позитивным. Нейтральное письмо чаще считывает как негативное, особенно если речь идет об американской культуре. Средне позитивное письмо означает скорее нейтральную оценку. Сильно позитивное — хорошую. Если студент действительно отличный, то число эпитетов повергнет в ужас любого человека с адекватной самооценкой. В общем, перехвалить невозможно. После того, как первый вариант письма написан, имеет смысл его переписать, заменив все эпитеты еще более восторженными.

2. Не отменяя восторженность эпитетов, письмо должно быть основано на фактах и эти факты нужно перечислять. Нельзя просто написать, что студент активно участвует в исследовательских проектах. Нужно писать о том, что таких исследовательских проектах было Х, и студент делал то-то и то-то (полировал мензурки, собирал данные, участвовал в планировании экспериментов, поил лабораторных обитателей кофе, …). Интерес к предмету можно описать как начитанность, способность задавать хорошие вопросы и активное участие в дискуссиях. Фраза об успехах в учебе подкрепляется средним баллом в дипломе и упоминанием особых восторгов преподавателей. Для этого если вы просите рекомендацию в англоязычной академической среде (и получили согласие), стоит послать рекомендателю свое CV, чтобы ему проще было вспомнить о ваших успехах.

3. Письмо должно быть индивидуальным. Шаблонные письма обычно хорошо заметны и не повышают ваши шансы. Для индивидуализации можно, например, начать письмо с того, как рекомендатель познакомился с человеком, которого поддерживает, а закончить -- выражением уверенности в том, что эта летняя школа по когнитивной зоолингвистике в Гарварде непременно станет очередной ступенькой на его пути к Нобелевской премии.

Помимо всего прочего, постарайтесь избегать стереотипов, в том числе гендерных. Пишите о достижениях, а не о старательности, о генерировании идей, а не о помощи окружающим, и т. д. Чтобы вам было проще — вот постер Университета Аризоны (отсюда http://www.athenasangels.nl/images/athena/genderbiasposter.pdf), который поможет вам не наступать на грабли. А заодно — хороший набор ключевых слов для рекомендательного письма =) Еще больше классических фраз для рекомендателей -- здесь

genderbiasposter_1

Suck until you don’t

Биоинформатик Патрик Шлосс написал чудесный и искренний пост о том, как осваивать новые навыки (в частности, программирование), занимаясь наукой.

Если коротко, его совет заключается в том, что нужно делать плохо, чтобы становиться лучше. Казалось бы, банальность, но в академии эта банальность осложняется тем, что разнообразные навыки идут рука об руку с научными проектами, которыми мы занимаемся, и иногда в погоне за освоением инструмента можно застрять содержательно. По мнению Шлосса, ни в коем случае не нужно останавливать научную работу ради того чтобы отполировать какой-то навык -- это бессмысленно. Проекты нужно оставлять, доведя до того состояния, когда все работает, пусть даже процесс и выглядит не очень элегантно. Тогда при работе над следующей задачей можно учесть ошибки, подводные камни и обратную связь. Мы учимся на итерациях, и научные задачи диктуют эти итерации.

«Мы живем в мире, в котором нормально или считать, что станешь экспертом за 24 часа, или принять, что экспертом ты никогда не станешь, поскольку талант закладывается в нас природой». Забудьте об этом и работайте над своими навыками через ошибки и повторения. «Вы будете делать плохо, но потом вы непременно начнете делать лучше».

http://blog.mothur.org/2016/01/04/Suck-until-you-dont/

Ну, а в качестве продолжения к вдохновительному посту Патрика несколько ссылок на полезные материалы, вышедшие за время зимних каникул:

  1. Учебник «Вычислительная статистика в Python»: http://people.duke.edu/~ccc14/sta-663/
  2. Объяснение логики объектно-ориентированного программирования от Себастиаана Мато: http://www.cogsci.nl/blog/tutorials/244-the-psychology-of-object-oriented-programming
  3. Видео-туториал с советами по Python от него же https://www.youtube.com/watch?v=VBokjWj_cEA
  4. Доступное объяснение предсказательного кодирования от Мики Аллена (взгляд от сторонника этой теории) http://neuroconscience.com/2015/12/24/predictive-coding-and-how-the-dynamical-bayesian-brain-achieves-specialization-and-integration/
  5. Новая версия курса Алекса Холкомба по нейронным сетям с использованием симулятора Simbrain. http://www.psych.usyd.edu.au/staff/alexh/teaching/3014webpages_2015/

Ну и кусочек xkcd напоследок.

Screenshot 2016-01-05 00.47.31

Best practices при создании протоколов экспериментов

На данный момент 90% исследований в когнитивной психологии проводятся при помощи компьютеров, на которых что-то предъявляется и через которые что-то записывается. Способы предъявления, материал и сами данные бывают самые разные, но в целом большая часть экспериментов заключается в том, что испытуемый выполняет данную ему задачу, а мы в это время регистрируем какие-то бихевиоральные или нейро- показатели. При этом гладкость, удобство и эффективность эксперимента часто зависят от того, насколько рационально был составлен протокол его проведения и все ли детали были учтены.

В этом посте мы попытались собрать стартовый пакет полезных советов относительно проведения экспериментов, по умолчанию подразумевая здоровых взрослых людей в качестве испытуемых, хотя большая часть рекомендаций распространяется и на другие группы. Важно: мы сознательно пока избегаем советов, напрямую относящихся к процессу создания программы на том или ином языке. Эти рекомендации можно воплотить практически в любой популярной среде для экспериментирования и они в целом подходят для широкого класса экспериментов (и для работ на конкурс MARVIN тоже;).

В целом, каждый протокол можно оценивать с трех сторон:

  • удобство и понятность для испытуемого
  • удобство и понятность для исследователя (в т.ч. для коллег и студентов)
  • адекватность и готовность к использованию регистрируемых данных

Несмотря на то, что на данный момент в сообществе нет конвенций о том, как именно должен выглядеть правильный эксперимент, достаточно использовать здравый смысл и немного терпения, чтобы создать протокол, который будет удобен для сбора и анализа данных и понятен тем, кто пытается его воспроизвести. Наши советы мы сгруппировали по основным блокам типового эксперимента.

Дисклеймер: поскольку условно когнитивные эксперименты по теме и условиям проведения бывают самые разные, мы надеемся на комментарии читателей и будем редактировать и дополнять этот пост

  • Инструкции
    • Инструкция должна быть полной и понятной, она обязательно должна присутствовать в письменном виде до начала эксперимента
    • Полезно напоминать инструкцию (например, какая кнопка что означает) в перерывах
    • Всегда полезно показать испытуемому задачу и дать ему освоиться с ней до начала регистрации данных. Это может быть сделано в формате тренировочной сессии, а в случае относительно несложных задач — в формате отсекания первых 20−30 проб от основной массы анализируемых данных. В последнем случае нужно позаботиться о том, чтобы отсекание этих проб не повлияло на контрбалансировку вашего эксперимента.
  • Стимулы
    • Здесь все целиком зависит от эксперимента, но как правило стимулы лучше генерировать и/или загружать в память презентационного компьютера до начала основного блока эксперимента
    • Если есть возможность создать стимулы внутри программы, а не хранить их отдельно, ей нужно пользоваться (тем самым обеспечивается воспроизводимость и контроль за рандомизацией)
  • Взаимодействие оборудования для предъявления стимулов с оборудованием для регистрации данных
    • До сбора данных нужно учесть все возможные временнЫе задержки и оттестировать синхронизацию оборудования (будь то клавиатура, кнопки, айтрекер, ЭЭГ и т. д.). Нет ничего хуже, чем собрать большой датасет и обнаружить, что его нельзя использовать из-за проблем взаимодействия оборудования.
    • Желательно предусмотреть онлайн-контроль за данными во время проведения эксперимента (например, выведение на экран экспериментатора ответа/времени реакции), и следить за работой оборудования и программы в течение всего эксперимента.
    • Это звучит глупо, но многие об этом забывают. Проследите, чтобы испытуемому было удобно выполнять вашу задачу. Кнопки должны спокойно нажиматься без проблем типа «долгое нажатие = двойное нажатие», фиксационная точка должна быть удобного размера, в течение пробы не должно быть странных смен цветов и морганий экрана, программа не должна закрываться от случайного нажатия на пробел,… Список можно продолжать бесконечно, но всех этих проблем разом можно избежать, если поставить себя на место испытуемого, пройти свой собственный эксперимент, отпилотировать его на коллегах и не полениться исправить все косяки.
  • Общая структура (блоки, пробы)
    • Рандомизация. Рандомизация должна быть умной. Во-первых, очень полезно научиться использовать random seed, чтобы иметь возможность воспроизвести любую псевдослучайно сгенерированную последовательность. Во-вторых, часто бывает необходимо избегать случайного повтора одного типа проб n раз подряд и прочих фокусов неконтролируемой рандомизации. В этом случае полезно сформулировать ограничивающий критерий и повторять рандомизацию до тех пор, пока этот критерий не будет удовлетворен.
    • Очень опасно оставлять испытуемого без регулярных перерывов. В лучшем случае он быстро устанет и начнет плохо выполнять задачу, в худшем — две трети эксперимента будет думать о том, когда же все это закончится, и опять же плохо выполнять задачу. Прерывание каждые 7−10 минут — это разумный ритм, обеспечивающий не только комфорт самого испытуемого, но и качество ваших данных.
    • Другие хитрости для сохранения внимания испытуемого в течение длинного эксперимента — звуковое подтверждение ответа, обратный отсчет блоков, обратная связь в перерывах (осторожно: обратная связь по корректности выполнения задания может вносить собственный вклад в данные).
    • Не секрет, что при выполнении экспериментов внимание испытуемых неравномерно, часто люди ловят себя на том, что вроде выполняют задачу, а вроде и думают о чем-то своем. В целом, вышеописанные хитрости минимизируют эти проблемы, но тем не менее бывает полезно дать возможность испытуемому признаться, что он отвлекся во время пробы, и не регистрировать такие данные, а саму пробу вернуть в пул. Также часто имеет смысл отменять и повторять неправильно выполненные пробы (например, когда прервалась фиксация, было зафиксировано моргание в критический период и т. д.)
  • Регистрация и сохранение данных
    • Имена файлов должны быть уникальны, для этого полезно в имя файла добавить точное время его создания
    • Файлы с результатами должны по возможности сохраняться несколько раз в течение эксперимента (в случае бихевиоральных данных — в конце каждой пробы), чтобы в случае прерывания эксперимента данные не были потеряны
    • Формат сохранения данных зависит от типа данных и ваших планов, но всегда полезно по возможности иметь копию данных в не-проприетарном формате.
    • Согласно Декларации Хельсинки, которая описывает правила проведения экспериментов на людях, данные должы храниться так, чтобы испытуемого нельзя было по ним идентифицировать. Соответственно, названия файлов должны быть зашифрованы, а документы, по которым можно сопоставить испытуемого и его личные данные, должны храниться на другом носителе. Подобные правила существуют и для «сложных» типов данных (пациенты, видео-, онлайн-), и очень важно ознакомиться с ними до проведения эксперимента, чтобы правильно его сконструировать.
    • Описательные данные об испытуемом (возраст, ведущая рука и т. д., но не имя) и метаданные удобно хранить в том же файле, что и сами данные эксперимента, чтобы минимизировать шансы потери или путаницы в информации.
    • Если ваш эксперимент предполагает некий рассказ о том, что все это было (например, когда вы работаете со студентами или добровольцами из числа интересующихся), удобно в конце эксперимента показать человеку любого рода график, описывающий его результаты (пусть даже это и не то, что вы изучаете, а просто % правильных ответов в двух условиях или картинка с какого-то этапа сбора данных). Чтобы испытуемые старались производить хорошие данные, нужно поддерживать их интерес к науке=).

Как вы видите, все эти рекомендации сводятся к тому, чтобы максимально автоматизировать все, что можно автоматизировать, при этом проявляя внимательность к деталям и к возможностям испытуемого. Чем больше (в разумных пределах) работы будет вложено в протокол, тем меньше вероятность критических проблем на следующих этапах исследования, о которых мы поговорим в другой раз.

Pic: Tanji & Evarts (1976)

Как не путать ошибки I и II рода

Ошибки первого и второго рода -- важные для понимания понятия, но запомнить, какой тип описывает ложноположительность, а какой -- ложноотрицательность, с первого раза удается далеко не всем.

Психолог Том Стаффорд (@tomstafford) опубликовал в своем блоге одну замечательную мнемонику:

«В притче про мальчика и волка есть ошибка и первого, и второго рода, именно в таком порядке. Сначала все верили, что волк есть, но на самом деле его не было. Потом они думали, что волка нет, но он был. Замени „волк“ на „эффект“ -- и ты разобрался».

Помимо этой мнемоники, есть пара хорошо запоминающихся картинок на ту же тему.

*источник утерян*

и *блистательный @ResearchMark*

Любая из этих историй или картинок поможет вам больше никогда не путать ошибки I и II рода.

Парад ссылок

Три ссылки на свежие учебные материалы, которые могут оказаться полезными для когнитивистов. Enjoy!

  • В издательстве O’Reilly Media вышел онлайн-сборник Python for Scientists, в который вошли главы из нескольких книг по программированию и анализу данных (Python for Data Analysis, Bioinformatics Data Skills, Effective Computation in Physics и Python Data Science Handbook). Сборник находится в открытом доступе по ссылке: www.oreilly.com/programming/free/python-for-scientists.csp
  • Исследователи из Radboud University опубликовали уроки по бихевиоральному моделированию, а именно по обучению с подкреплением и байесовскому обучению (MATLAB)
    • http://hannekedenouden.ruhosting.nl/RLtutorial/Instructions.html
  • Опубликованы демонстрации по байесовскому анализу данных в Python и Matlab (дополнение к книге Bayesian Data Analysis, 3rd ed by Gelman et al.)
    • https://github.com/avehtari/BDA_py_demo
    • https://github.com/avehtari/BDA_m_demos

Про стандарты и людей

Внимательные читатели замечают, что периодически мы ругаемся на то, что статистика оформлена не по APA, прописываем требования к размеру шрифта и межстрочным интервал в условиях конкурсов, объясняем, как правильно оформлять библиографию по правилам той же APA и, в общем, всячески боремся с креативностью в оформлении научных текстов.

И все равно, раз за разом мы сталкиваемся с тем, что как совсем юные, так уже и не очень юные, но все еще горячие, когнитивисты употребляют, не стесняясь, что-нибудь типа p < 0.07 или соединяют в списке литературы стопицот вариантов оформления библиографических ссылок. В этом занудно-назидательном посте мы попробуем разобраться, зачем нужны стандарты и в чем причина раздражения, которое вызывает нарушение стандартов у некоторых людей.

Сначала поговорим о стандартах оформления рукописей. На всякий случай, рукопись — это не то, что написано от руки, это все, что вот вы сами напечатали до того, как это что-то попало в издательство, где было издано в виде книги, газеты или журнальной статьи. Исторически, одна из основных задач введения стандарта для рукописей — сделать их удобными для редактирования. В докомпьютерную эпоху основным инструментом редактирования рукописей была ручка, в крайнем случае — ножницы. Из-за этого одно из основных требований многих стандартов — большие поля и и межстрочные интервалы. Чтобы можно было делать вот так:

Страница рукописи Дж. Оруэлла с правками
Страница рукописи «1984» Дж. Оруэлла
Понятно, что сейчас такого рода требования уже не очень актуальны, поскольку редактурой бумажных текстов почти никто не занимается. Кроме этого есть задача сделать текст более удобным для работы с ним в типографии. Из-за этого некоторые стили, например APA, требуют ставить изображения и таблицы в конец текста на отдельные страницы. Это тоже не очень актуально в современном мире, и даже многие журналы, которые основываются на требованиях APA, закрывают глаза на нарушение этого правила.

Однако у стандартов есть еще одна задача — сделать текст более удобным для чтения. Для этого структуру текста стараются сделать более однообразной и четко разделять смысловые блоки. Расстояние между абзацами должно быть больше расстояния между строками не потому, что так захотелось какому-то полутрезвому разработчику ГОСТа, а потому, что абзацы являются отдельными кусками смысла, а строки — нет. По этой же причине в тексте употребляются заголовки. Заголовки кроме того поясняют, о чем идет речь в следующем за ними куске текста, а чтобы их было проще найти, и чтобы они не путались с остальным текстом, они имеют не такое оформление как остальной текст. Традиционно заголовки выделяются жЫрными буквами или полужЫрными буквами. Поэтому когда вы в тексте понравившееся вам слово выделяете жирным шрифтом, человек, привыкший к чтения рукописей инстинктивно пытается понять, почему среди строки у вас заголовок.

Вообще это одна из основных проблем нарушения стандартов: вы делаете чтение текста более трудным. Бывают редкие исключения, когда небольшие отклонения, наоборот, помогают. Например, требование APA оформлять подписи к таблицам и изображениям в том же стиле, что и основной текст, нормально, но только если у вас таблицы и изображения идут на отдельных страницах. Если же они идут в теле текста, то их лучше все же оформлять иначе, чтобы их было легко отличить от текста. Но в основном стандарты достаточно хорошо продуманы, и делают текст максимально читабельным. Более того, стандарты привычны для людей, работающих с научными текстами. Поэтому их нарушение заставляет прилагать чуть больше усилий для чтения. Как и все люди, ученые не любят тратить свои ресурсы. Поэтому даже если ваш текст на 1% труднее читать, чем остальные, это вызывает негативные эмоции. А вы не хотите, чтобы у читателя возникали негативные эмоции. Как показывают исследования, авторов более сложных для прочтения текстов при прочих равных считают менее умными (http://www.ucd.ie/artspgs/semantics/ConsequencesErudite.pdf).

Примерно то же касается оформления статистики. Тут много маленьких деталей. Например, пробелы. Все ставят пробел после точки, но про пробелы в описании статистики часто забывают. При этом читать запись типа F(2,28)=3.256 труднее и менее привычно, чем F(2, 28) = 3.256. Создатели стандартов APA постарались сделать так, чтобы описание результатов статистики было максимально читаемым и максимально компактным. Поэтому, например, для величин. которые не могут быть больше нуля, в том числе для p-значений, ноль опускается. Но в оформлении статистики есть еще один нюанс — описание результатов должно позволять прикинуть адекватность ваших подсчетов и при необходимости использовать ваши данные для мета-анализа. Поэтому принято указывать степени свободы, и поэтому p значения не округляются, если они не меньше 0.001, а указываются с точностью до третьего знака.

Теперь еще один момент, касающийся негативных эмоций. Многим из тех, кто привык пользоваться стандартами в своей работе, соблюдение этих стандартов кажется очень простой вещью. Во многом это связано с тем, что в эпоху интернета и текстовых процессоров (да, я говорю о MS Word), оформить текст правильно достаточно легко. Скачайте себе шаблон APA (http://bfy.tw/1fc0) и научитесь пользоваться стилями в Word. Установите Mendeley или Zotero (http://tcts.cogitoergo.ru/ru/blog/oformlenie-spiska-literatury-s-pomoshh-yu-mendeley-zotero/) и научитесь ими пользоваться, это поможет забыть об оформлении литературы вручную. К сожалению, программы, которая бы умела за вас правильно оформлять статистику пока нет (если вы используете Rmarkdown, можете попробовать github.com/ralfer/apa_format_and_misc), но никто не мешает вам распечатать себе табличку с правилами оформления статистики, заламинировать, и прибить гвоздем рядом с монитором. Ну или запомнить, да, тоже можно. Слава богу, сейчас не 87ой год, когда вам бы пришлось все делать вручную. Поэтому неумение оформить текст или описать результаты в 2015 году показывает неумение пользоваться самыми базовыми вещами, наподобие того же Word. Помноженное на затрудненное восприятие текста это рождает в читателе не самое приятное впечатление об авторе.

Занудно-назидательный пост закончен.

О Reproducibility Project

или «Тот редкий момент, когда нужно защитить психологию»

TL;DR:

  • В рамках большого репликационного проекта в психологии не были подтверждены больше половины из 100 результатов
  • Наиболее высокими шансами на удачное воспроизведение обладают результаты с исходно большим размером эффекта (чаще встречающиеся в когнитивной психологии).
  • Причиной низкой воспроизводимости скорее всего является существующая система публикаций, придающая неадекватно большое значение статистической значимости и новизне результатов
  • В целом, репликационный проект показывает как серьезность методических проблем в психологии, так и направленность на их скорейшее решение

_fxRX4FQFO4

ОК #горячиеюныекогнитивные, с нескольким опозданием, но и мы в TCTS решили отреагировать на новости о результатах большого репликационного исследования, описанного на этой неделе в Science[1]. Наверное, уже все видели заголовки «Больше половины психологических результатов невоспроизводимы», «Объективность большинства психологических исследований поставлена под сомнение», «Результаты многих исследований по психологии и социологии не поддаются воспроизведению и могли быть подделаны» или «Ученые усомнились в научности психологических исследований» (все названия реальны). Если вы хотите поглубже разобраться в том, куда теперь бежать и в какую сторону закатывать глаза, вам будет интересно прочесть этот длинный пост.

ПРОБЛЕМА
Прежде всего давайте спокойно, без истерики, посмотрим на то, что произошло. В течение последних трех лет героический Брайан Нозек из Университета Вирджинии руководил командой из 270 человек, занявшейся прямой репликацией сотни опубликованных психологических экспериментов. Эта мега-репликация была вызвана все возрастающим пониманием того, что многие из исследовательских и публикационных практик, принятых в сообществе, ухудшают качество получаемых результатов. За последние несколько лет в психологии было вскрыто несколько больших проблемных тем (например, очень громкой оказалась история с непонятным социальным праймингом[2]), были раскрыты громкие случаи фальсификации данных (вспомним Дидрика Штапеля[3]), и продемонстрированы странные публикационные тенденции (90% опубликованных статей подтверждают исходную гипотезу[4], нереалистичная часть статистически значимых результатов еле-еле отвечает конвенциональному p-критерию[5] и т. д.) Кроме того, стало понятно, что для того, чтобы внести неразбериху в психологическую литературу, необязательно быть монстром-фальсификатором, достаточно слегка переиграть в экспериментальные игры[6]. Например, исследователь может добрать выборку «до значимости» уже в процессе исследования, пробовать разные методы фильтрации и обработки данных (без злого умысла, из чистого интереса!), повторять эксперимент с небольшими изменениями 10 раз и опубликовать только один, удачный, результат, и т. д. Эти проблемы, спасибо журналам, публикующим только положительные результаты, существуют во всех науках, но в случае с психологией и её и без того хрупкими эффектами масштаб трагедии казался ошеломляющим. Брайан Нозек решил все же попробовать её измерить.

ПОДХОД
Для начала авторы (270!) выбрали исследования для повторения. В список[7] попали работы, опубликованные в трех высокопрофильных психологических журналах в 2008 году: общем публикующем «громкие» результаты Psychological Science, социально-психологическом Journal of Personality and Social Psychology и когнитивно-психологическом Journal of Experimental Psychology: Learning, Memory, and Cognition. Команды-участники проекта могли сами выбирать из общего пула статьи, которые были близки их научным интересам и которые можно было технически реплицировать (понятно, что финансирование 30 лишних томографий или пары обезьян, а также доступ к клинической выборке обеспечить не так просто). Участники репликационного проекта активно общались с авторами оригинальных исследований, пытаясь максимально приблизить условия репликации к условиям первоначальных экспериментов. Кроме собственно «волшебной» цифры (какой процент результатов удастся подтвердить), авторов интересовал разброс успешности репликаций между субдисциплинами, а также факторы, влияющие на успешность репликаций (например, склонны ли к удачным воспроизведениям более опытные исследователи).

РЕЗУЛЬТАТЫ
Перейдем к результатам, на примере самого банального критерия успешности — p-значений. Следите за руками. Взяли 100 экспериментов. В 97 из них был заявлен положительный результат (из них 4 имели p > .05, но это в данном случае уже мелочи). Средняя мощность репликации по имеющимся у исследователей данным составляла 92%. Это означает, что если все оригинальные эффекты существуют и были правильно измерены (!), реплицировать получится 89 из них (0.97 * 0.92). На самом деле получилось реплицировать 35 (40%). Правда, здесь есть ловушка — та самая правильность исходного измерения. Если авторы оригинальных исследований переоценивали величину искомого эффекта, реальная мощность репликации была ниже, а значит и «волшебный процент» мог быть недооценен, то есть 40% это довольно консервативная оценка. Далее, внутри этих 40% авторы обнаружили существенный разброс между субдисциплинами (точнее, статьями из двух специализированных журналов: по социальной и личностной психологии vs когнитивной психологии). Если социальнопсихологические результаты подтверждались в 25% случаев (14 из 55), то когнитивнопсихологические — в 50% случаев (21 из 42).
Не менее грустную в целом, но более информативную картину показывает сравнение размеров эффекта в оригинале и репликации — в среднем, репликации достигают лишь половины оригинального размера эффекта. Предлагаемый авторами механизм здесь довольно прост и ожидаем — в публикации попадают «лучшие образцы» результатов, зачастую в сочетании с маломощным дизайном, тогда как репликации лишены этих искажений.

Помимо измерения реплицируемости, на основе всех полученных данных авторами были выделены предикторы успешности репликаций — неудивительно, но ими оказались большой размер эффекта и низкое p-значение в оригинальном исследовании. На примере p-значений — результаты с p < .001 достигали значимости при репликации в 63% случаях, а результаты с p > .04 — в 18%. К тому же, чем «удивительнее» был исходный эффект и чем сложнее было его реплицировать, тем ниже оказалась вероятность успеха (привет Psychological Science и в целом упору на новизну). Кроме того, редко реплицируются результаты тестов интеракций по сравнению с тестами собственных эффектов факторов. Зато в отношении реплицируемости не имеет предсказательной способности опытность авторов (как оригинала так и репликации), субъективная важность результата и даже субъективное качество репликации.

GO BAYES
Но что мы все о p-значениях. Интересный взгляд на те же результаты показывает байесовская статистика. Данный анализ не проводился авторами статьи в Science, но на выложенные в открытый доступ данные накинулись десятки любопытных исследователей, и некоторые из дополнительных выводов уже вовсю обсуждаются в блогах. Прелесть байесовского подхода к анализу репликаций в том, что он позволяет не только оценить успешность репликации в дихотомии «получилось/не получилось», но и рассмотреть результаты как свидетельство в пользу гипотезы о наличии либо гипотезы об отсутствии описанного в оригинальном исследовании результате. Таким образом можно определить, какие из репликаций показали весомое свидетельство наличия эффекта, какие — весомое свидетельство отсутствия эффекта, а какие оказались неинформативны. Выводы Алекса Этза[8] в рамках этого подхода оказались довольно интересны: около 30% результатов репликаций попадают в категорию «неинформативных», то есть, не соответствуют однозначно ни гипотезе о наличии, ни гипотезе об отсутствии эффекта. Еще раз — целая треть этих аккуратнейшим образом выполненных и проанализированных репликаций попали в «серую» зону между успехом и неуспехом. В свете такой оценки становится яснее, что репликация — это не приговор и даже не «проверка», а скорее дополнительная информация для составления информированного научного вывода.

КТО ВИНОВАТ
Таким образом, если корректно подходить к интерпретации основного результата, то все, что мы можем сказать — 35 из 97 исследований получили дополнительные доказательства в свою пользу. Остальные — не получили, и сложно сказать, почему. Возможно, потому что искомые эффекты очень слабые и репликациям не хватило мощности. Или потому что этих эффектов действительно не существует. Либо в одной из двух попыток (оригинале или репликации) что-то незаметно пошло не так. Либо это случай. Либо немного отличались выборки и материал (а репликации не всегда проводились в той же стране, что исходное исследование). Причин неудачи может быть масса, так что однозначно списывать со счетов конкретные невоспроизведенные исследования не стоит. Туда же относится вопрос «Можно ли официально считать когнитивную психологию круче социальной, если ее результаты чаще воспроизводятся?». Боюсь, что социальным психологам и без того досталось. Скорее всего, когнитивистам благодарить за воспроизводимость нужно не математически-естественнонаучную шапочку, а удобные внутригрупповые дизайны и в целом сильные эффекты, обладающие относительно небольшой вариабельностью внутри популяции, а социальным психологам в этом смысле можно посочувствовать.

ЧТО ДЕЛАТЬ
Вернемся к громким журнальным заголовкам. Если это огромное исследование не было призвано оправдать или осудить психологию как науку, и даже не показало, каким результатам можно верить, а каким нет, что оно дало? В первую очередь, это смелая и трудоемкая работа по описанию проблемы, с которой борется психология, это донесение как до публики, так и до самих исследователей важности перепроверки и укрепления ранних результатов. Возможно ли повысить цифру 40% до чего-то более приятного? Пожалуй, да. Более того, за счет распространения более аккуратных исследовательских практик она скорее всего возросла с 2008 года, когда были опубликованы рассматриваемые работы. В предыдущие десятилетия те же проблемы проходила, например, медицина и генетика. Клинические испытания в итоге приняли за норму обязательную перерегистрацию исследований для того, чтобы отделить планируемые результаты от менее жестких творческих находок ученых. Генетики перешли к командной работе и крупным коллаборациям. Психология тоже идет этим путем. Все больше журналов практикует пререгистрацию[9] и настаивает на свободном доступе к данным исследования, все больше внимания уделяется адекватности размера выборок и соответствии их размеру эффекта, и раз за разом международные команды объединяются в проекты ManyLabs[10] для проведения больших репликаций. Все больше «не-новых», даже отрицательных, результатов публикуется в PLoS One или выкладывается препринтами на bioRxiv. Ситуация год от года изменяется к лучшему. Что делать с результатами предыдущих эпох? Да ничего. Относиться критично и по возможности перепроверять. Не то чтобы эта рекомендация открывала глаза кому-то, кто хоть раз пробовал разобраться в научной литературе по любой проблеме.

В общем, хоть цифры и выглядят пессимистично, ничего особенно пугающего нам не открылось. Как это и должно быть, наука перепроверяет, критикует и оздоравливает себя, так что научность психологии (если кто-то за нее волновался) подтверждается самим фактом проведения подобного исследования. А теперь все выдохнули и повторяем за мной: «Science isn’t broken. It’s just fucking hard.»

1.http://www.sciencemag.org/content/349/6251/aac4716

2. http://www.nature.com/news/nobel-laureate-challenges-psychologists-to-clean-up-their-act-1.11 535

3. https://en.wikipedia.org/wiki/Diederik_Stapel

4. http://www.nature.com/news/replication-studies-bad-copy-1.10 634

5 .https://peerj.com/articles/1142.pdf

6. http://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1 002 106

7. https://osf.io/ezcuj/wiki/Replicated%20Studies/

8. http://alexanderetz.com/2015/08/30/the-bayesian-reproducibility-project/

9. http://www.theguardian.com/science/head-quarters/2014/may/20/psychology-registration-revolution

10. https://osf.io/89vqh/

Дополнительно:

Все материалы, касающиеся репликационного проекта, включая детальные отчеты о каждой репликации, данные, и код для анализа и визуализации: https://osf.io/ezcuj/

Отличный обзор в Atlantic с правильной, на наш взгляд, подачей проблемы: http://www.theatlantic.com/health/archive/2015/08/psychology-studies-reliability-reproducability-nosek/402 466/

Анализ электрофизиологических данных в Python

Торбен Ното из лаборатории Cognitive and Neural Dynamics в Университете Калифорнии в Сан Диего составил несколько уроков по анализу электрофизиологических данных (ЭЭГ и ЭКоГ) в Python.

Уроки написаны в iPython Notebooks и представляют собой очень краткие объяснения основных процессов и функций с кусочками работающего кода. На данный момент есть уроки по следующим темам:

  • Фильтры
  • Спектральная плотность мощности и сэмплинг
  • Фазово-амплидудные взаимодействия
  • Влияние фильтрации на фазово-амплидудные взаимодействия
  • Вызванные потенциалы
  • Взаимодействие спайковой активности с колебаниями

Уроки находятся в репозитории лаборатории здесь: github.com/voytekresearch/tutorials

Большое спасибо коллегам за готовность делиться материалами. Да здравствует открытая наука!

МРТ в 3D

Подробная инструкция по созданию объемных визуализаций данных МРТ от Криса Мадана (Boston College) опубликована на ресурсе F1000 Research.

Инструкция основана на свободно распространяемых программах ITK-SNAP и ParaView, но для первичной обработки данных также понадобится стандартная фМРТ-среда типа SPM, FSN или NiFTI. Конечно, объемные визуализации в целом передают меньше информации, чем 2D-срезы, и и х сложнее интерпретировать, но в некоторых случаях они могут помочь показать общую картину активаций, в дополнение к классическим изображениям.

Ссылка на статью: f1000research.com/articles/4−466/v1

Ну, а если #горячаяюнаякогнитивная душа требует нейропраздника с подарками, объемную модель мозга (структурную, для начала) можно напечатать на 3D-принтере и всегда носить с собой. Довольно короткий путь описан здесь vincentadam87.wordpress.com/2014/12/21/3d-print-your-own-brain/, но по сети бродит еще несколько описаний процесса, на любой вкус и софт.

Всем доступных визуализаций!

Книги по Data Science

Ресурс для #горячихюныхкогнитивных, намеревающихся серьезно заняться самообразованием в области data science -- список хороших бесплатно распространяемых книг для разного уровня подготовки.

Список составлен и обновляется Уильямом Ченом -- исследователем из команды Quora. Бесплатный или условно-бесплатный (donation с минимумом в 0) доступ к книгам открывается по клику на обложку со страницы блога Уильяма: www.wzchen.com/data-science-books