Jane: оценка названий журналов и авторов

Случалось ли вам задумываться над тем, в какой журнал отправить статью? Интересоваться ключевыми авторами в какой-либо теме? Оказывается, помимо анализа обзорных статей и Google Scholar’а для этого можно воспользоваться интересным инструментом от голландских исследователей биосемантики — Journal/Author Name Estimator, или просто Jane.
Jane использует в качестве входной информации абстракт, название статьи или просто ключевые слова, сравнивает их с текстами Medline и возвращает список наиболее похожих статей, авторов, или журналов. Подробнее алгоритм описан здесь: goo.gl/9THDvi. В качестве бонуса Jane умеет маркировать журналы с открытым доступом и сравнивать журналы по вероятности цитирования.

Ссылка на Jane: http://www.biosemantics.org/jane/index.php

О Reproducibility Project

или «Тот редкий момент, когда нужно защитить психологию»

TL;DR:

  • В рамках большого репликационного проекта в психологии не были подтверждены больше половины из 100 результатов
  • Наиболее высокими шансами на удачное воспроизведение обладают результаты с исходно большим размером эффекта (чаще встречающиеся в когнитивной психологии).
  • Причиной низкой воспроизводимости скорее всего является существующая система публикаций, придающая неадекватно большое значение статистической значимости и новизне результатов
  • В целом, репликационный проект показывает как серьезность методических проблем в психологии, так и направленность на их скорейшее решение

_fxRX4FQFO4

ОК #горячиеюныекогнитивные, с нескольким опозданием, но и мы в TCTS решили отреагировать на новости о результатах большого репликационного исследования, описанного на этой неделе в Science[1]. Наверное, уже все видели заголовки «Больше половины психологических результатов невоспроизводимы», «Объективность большинства психологических исследований поставлена под сомнение», «Результаты многих исследований по психологии и социологии не поддаются воспроизведению и могли быть подделаны» или «Ученые усомнились в научности психологических исследований» (все названия реальны). Если вы хотите поглубже разобраться в том, куда теперь бежать и в какую сторону закатывать глаза, вам будет интересно прочесть этот длинный пост.

ПРОБЛЕМА
Прежде всего давайте спокойно, без истерики, посмотрим на то, что произошло. В течение последних трех лет героический Брайан Нозек из Университета Вирджинии руководил командой из 270 человек, занявшейся прямой репликацией сотни опубликованных психологических экспериментов. Эта мега-репликация была вызвана все возрастающим пониманием того, что многие из исследовательских и публикационных практик, принятых в сообществе, ухудшают качество получаемых результатов. За последние несколько лет в психологии было вскрыто несколько больших проблемных тем (например, очень громкой оказалась история с непонятным социальным праймингом[2]), были раскрыты громкие случаи фальсификации данных (вспомним Дидрика Штапеля[3]), и продемонстрированы странные публикационные тенденции (90% опубликованных статей подтверждают исходную гипотезу[4], нереалистичная часть статистически значимых результатов еле-еле отвечает конвенциональному p-критерию[5] и т. д.) Кроме того, стало понятно, что для того, чтобы внести неразбериху в психологическую литературу, необязательно быть монстром-фальсификатором, достаточно слегка переиграть в экспериментальные игры[6]. Например, исследователь может добрать выборку «до значимости» уже в процессе исследования, пробовать разные методы фильтрации и обработки данных (без злого умысла, из чистого интереса!), повторять эксперимент с небольшими изменениями 10 раз и опубликовать только один, удачный, результат, и т. д. Эти проблемы, спасибо журналам, публикующим только положительные результаты, существуют во всех науках, но в случае с психологией и её и без того хрупкими эффектами масштаб трагедии казался ошеломляющим. Брайан Нозек решил все же попробовать её измерить.

ПОДХОД
Для начала авторы (270!) выбрали исследования для повторения. В список[7] попали работы, опубликованные в трех высокопрофильных психологических журналах в 2008 году: общем публикующем «громкие» результаты Psychological Science, социально-психологическом Journal of Personality and Social Psychology и когнитивно-психологическом Journal of Experimental Psychology: Learning, Memory, and Cognition. Команды-участники проекта могли сами выбирать из общего пула статьи, которые были близки их научным интересам и которые можно было технически реплицировать (понятно, что финансирование 30 лишних томографий или пары обезьян, а также доступ к клинической выборке обеспечить не так просто). Участники репликационного проекта активно общались с авторами оригинальных исследований, пытаясь максимально приблизить условия репликации к условиям первоначальных экспериментов. Кроме собственно «волшебной» цифры (какой процент результатов удастся подтвердить), авторов интересовал разброс успешности репликаций между субдисциплинами, а также факторы, влияющие на успешность репликаций (например, склонны ли к удачным воспроизведениям более опытные исследователи).

РЕЗУЛЬТАТЫ
Перейдем к результатам, на примере самого банального критерия успешности — p-значений. Следите за руками. Взяли 100 экспериментов. В 97 из них был заявлен положительный результат (из них 4 имели p > .05, но это в данном случае уже мелочи). Средняя мощность репликации по имеющимся у исследователей данным составляла 92%. Это означает, что если все оригинальные эффекты существуют и были правильно измерены (!), реплицировать получится 89 из них (0.97 * 0.92). На самом деле получилось реплицировать 35 (40%). Правда, здесь есть ловушка — та самая правильность исходного измерения. Если авторы оригинальных исследований переоценивали величину искомого эффекта, реальная мощность репликации была ниже, а значит и «волшебный процент» мог быть недооценен, то есть 40% это довольно консервативная оценка. Далее, внутри этих 40% авторы обнаружили существенный разброс между субдисциплинами (точнее, статьями из двух специализированных журналов: по социальной и личностной психологии vs когнитивной психологии). Если социальнопсихологические результаты подтверждались в 25% случаев (14 из 55), то когнитивнопсихологические — в 50% случаев (21 из 42).
Не менее грустную в целом, но более информативную картину показывает сравнение размеров эффекта в оригинале и репликации — в среднем, репликации достигают лишь половины оригинального размера эффекта. Предлагаемый авторами механизм здесь довольно прост и ожидаем — в публикации попадают «лучшие образцы» результатов, зачастую в сочетании с маломощным дизайном, тогда как репликации лишены этих искажений.

Помимо измерения реплицируемости, на основе всех полученных данных авторами были выделены предикторы успешности репликаций — неудивительно, но ими оказались большой размер эффекта и низкое p-значение в оригинальном исследовании. На примере p-значений — результаты с p < .001 достигали значимости при репликации в 63% случаях, а результаты с p > .04 — в 18%. К тому же, чем «удивительнее» был исходный эффект и чем сложнее было его реплицировать, тем ниже оказалась вероятность успеха (привет Psychological Science и в целом упору на новизну). Кроме того, редко реплицируются результаты тестов интеракций по сравнению с тестами собственных эффектов факторов. Зато в отношении реплицируемости не имеет предсказательной способности опытность авторов (как оригинала так и репликации), субъективная важность результата и даже субъективное качество репликации.

GO BAYES
Но что мы все о p-значениях. Интересный взгляд на те же результаты показывает байесовская статистика. Данный анализ не проводился авторами статьи в Science, но на выложенные в открытый доступ данные накинулись десятки любопытных исследователей, и некоторые из дополнительных выводов уже вовсю обсуждаются в блогах. Прелесть байесовского подхода к анализу репликаций в том, что он позволяет не только оценить успешность репликации в дихотомии «получилось/не получилось», но и рассмотреть результаты как свидетельство в пользу гипотезы о наличии либо гипотезы об отсутствии описанного в оригинальном исследовании результате. Таким образом можно определить, какие из репликаций показали весомое свидетельство наличия эффекта, какие — весомое свидетельство отсутствия эффекта, а какие оказались неинформативны. Выводы Алекса Этза[8] в рамках этого подхода оказались довольно интересны: около 30% результатов репликаций попадают в категорию «неинформативных», то есть, не соответствуют однозначно ни гипотезе о наличии, ни гипотезе об отсутствии эффекта. Еще раз — целая треть этих аккуратнейшим образом выполненных и проанализированных репликаций попали в «серую» зону между успехом и неуспехом. В свете такой оценки становится яснее, что репликация — это не приговор и даже не «проверка», а скорее дополнительная информация для составления информированного научного вывода.

КТО ВИНОВАТ
Таким образом, если корректно подходить к интерпретации основного результата, то все, что мы можем сказать — 35 из 97 исследований получили дополнительные доказательства в свою пользу. Остальные — не получили, и сложно сказать, почему. Возможно, потому что искомые эффекты очень слабые и репликациям не хватило мощности. Или потому что этих эффектов действительно не существует. Либо в одной из двух попыток (оригинале или репликации) что-то незаметно пошло не так. Либо это случай. Либо немного отличались выборки и материал (а репликации не всегда проводились в той же стране, что исходное исследование). Причин неудачи может быть масса, так что однозначно списывать со счетов конкретные невоспроизведенные исследования не стоит. Туда же относится вопрос «Можно ли официально считать когнитивную психологию круче социальной, если ее результаты чаще воспроизводятся?». Боюсь, что социальным психологам и без того досталось. Скорее всего, когнитивистам благодарить за воспроизводимость нужно не математически-естественнонаучную шапочку, а удобные внутригрупповые дизайны и в целом сильные эффекты, обладающие относительно небольшой вариабельностью внутри популяции, а социальным психологам в этом смысле можно посочувствовать.

ЧТО ДЕЛАТЬ
Вернемся к громким журнальным заголовкам. Если это огромное исследование не было призвано оправдать или осудить психологию как науку, и даже не показало, каким результатам можно верить, а каким нет, что оно дало? В первую очередь, это смелая и трудоемкая работа по описанию проблемы, с которой борется психология, это донесение как до публики, так и до самих исследователей важности перепроверки и укрепления ранних результатов. Возможно ли повысить цифру 40% до чего-то более приятного? Пожалуй, да. Более того, за счет распространения более аккуратных исследовательских практик она скорее всего возросла с 2008 года, когда были опубликованы рассматриваемые работы. В предыдущие десятилетия те же проблемы проходила, например, медицина и генетика. Клинические испытания в итоге приняли за норму обязательную перерегистрацию исследований для того, чтобы отделить планируемые результаты от менее жестких творческих находок ученых. Генетики перешли к командной работе и крупным коллаборациям. Психология тоже идет этим путем. Все больше журналов практикует пререгистрацию[9] и настаивает на свободном доступе к данным исследования, все больше внимания уделяется адекватности размера выборок и соответствии их размеру эффекта, и раз за разом международные команды объединяются в проекты ManyLabs[10] для проведения больших репликаций. Все больше «не-новых», даже отрицательных, результатов публикуется в PLoS One или выкладывается препринтами на bioRxiv. Ситуация год от года изменяется к лучшему. Что делать с результатами предыдущих эпох? Да ничего. Относиться критично и по возможности перепроверять. Не то чтобы эта рекомендация открывала глаза кому-то, кто хоть раз пробовал разобраться в научной литературе по любой проблеме.

В общем, хоть цифры и выглядят пессимистично, ничего особенно пугающего нам не открылось. Как это и должно быть, наука перепроверяет, критикует и оздоравливает себя, так что научность психологии (если кто-то за нее волновался) подтверждается самим фактом проведения подобного исследования. А теперь все выдохнули и повторяем за мной: «Science isn’t broken. It’s just fucking hard.»

1.http://www.sciencemag.org/content/349/6251/aac4716

2. http://www.nature.com/news/nobel-laureate-challenges-psychologists-to-clean-up-their-act-1.11 535

3. https://en.wikipedia.org/wiki/Diederik_Stapel

4. http://www.nature.com/news/replication-studies-bad-copy-1.10 634

5 .https://peerj.com/articles/1142.pdf

6. http://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1 002 106

7. https://osf.io/ezcuj/wiki/Replicated%20Studies/

8. http://alexanderetz.com/2015/08/30/the-bayesian-reproducibility-project/

9. http://www.theguardian.com/science/head-quarters/2014/may/20/psychology-registration-revolution

10. https://osf.io/89vqh/

Дополнительно:

Все материалы, касающиеся репликационного проекта, включая детальные отчеты о каждой репликации, данные, и код для анализа и визуализации: https://osf.io/ezcuj/

Отличный обзор в Atlantic с правильной, на наш взгляд, подачей проблемы: http://www.theatlantic.com/health/archive/2015/08/psychology-studies-reliability-reproducability-nosek/402 466/

Конкурс нейровизуализаций -- Brain Art Competition 2015

НейроБюро (общественная инициатива, направленная на поддержку открытой науки) объявляет конкурс на лучшую визуализацию мозга.

Конкурс проводится в следующих номинациях:
— Лучшее изображение человеческого коннектома

— Лучшая иллюстрация мозга в абстракции/в свободной форме

— Лучшее изображение, получившееся в результате ошибки или бага

— Лучшее видео мозга

— Лучшее изображение мультимодального мозга (challenge — совместно представить данные разных типов)

— Лучшая иллюстрация, выполненная автором до 14 лет

Работы принимаются до 3 июня 2015.

Подробные условия здесь: www.neurobureau.org/brainart/

Иллюстрация: коннектом-победитель конкурса 2013 (Etienne Saint-Amant, Chaoscopia)
2610473a069955a50e739e053e43b819d56a621b6771570a16ee42347175fb792ed14272811d32ec64c3feea946cc294e7078bec49ecc26b7c8b7f1a323de6fb (1)

Special Issue: Neurodevelopment

Вышел спецвыпуск журнала Developmental Cell по развитию нервной системы.

Среди интересных когнитивистами -- статьи о миелинации ЦНС, раннем нейрогенезе, генетических аспектах формирования мозга человека, и эволюции системы локомоции. Пока доступ открытый!

www.cell.com/developmental-cell/issue?pii=S1534−5807%2814%29X0029−8

Online Workshop: Introduction to Power Analyses

Завтра, 24 октября, на платформе Centre for Open Science пройдет первая онлайн-мастерская по анализу статистической мощности.

Ребята будут рассказывать о том, зачем нужен анализ мощности, какие проблемы могут возникать у исследователей при оценке размера эффекта, а также покажут базовые способы расчета мощности в R и в G*Power. Это занятие базового уровня, на дальнейших встречах будут разбираться более сложные вопросы. Очень рекомендуем тем, кто хочет осваивать расчеты подобного рода, но не знает, с чего начать.

Для записи необходимо открыть календарь COS, выбрать интересующее время занятия 24 октября (внимание, GMT-5!) и перейти по ссылке, открывающейся в описании проекта. И да пребудет с вами мощность.

StatPower

Nature открывает доступ к статьям Нобелевских лауреатов

В честь Нобелевской премии по медицине и физиологии, полученной Джоном О’Кифом, Мэй-Бритт Мозер и Эдвардом Мозером, Nature на месяц открывает доступ к основным их статьям о позиционной системе мозга.

Открытия Нобелевских лауреатов значительно повлияли на развитие нейронауки и на понимание связи работы нейронов с поведением. Фактически, благодаря им мы получили надежду познать вычислительные принципы, лежащие в основе функционирования мозга. Эту литературу хотя бы в общих чертах нужно знать обязательно.

Консультации по статистике и методологии от COS

Сenter for Open Science предлагает бесплатные консультации по статистике и методологии исследований.

COS -- это организация, занимающаяся поддержкой и распространением новых полезных исследовательских практик с целью сделать науку (в частности, психологию) реплицируемой. Новый проект COS -- консультации по статистике и методологии. Их консультанты могут, в частности, посоветовать корректную стратегию анализа и интерпретации данных, а также помочь с расчетами размера эффекта и планируемой выборки. Спектр вопросов, с которыми к ним можно обращаться, довольно широк -- от помощи с конкретным кодом до советов по поводу хранения данных и экспериментальных протоколов. Консультации бесплатны, и проводятся как по почте, так и в живом общении. Попробуйте open science, вам понравится;)

http://centerforopenscience.org/stats_consulting/

COS

Временный бесплатный доступ к «Year in Cognitive Neuroscience» от Wiley

Wiley открыл бесплатный доступ к свежему выпуску журнала «Year in Cognitive Neuroscience» (Annals of the New York Academy of Sciences) на ближайшие 28 дней.

Это, конечно, не совсем Open Science, но все равно приятно.

http://onlinelibrary.wiley.com/doi/10.1111/nyas.2014.1316.issue-1/issuetoc

Успехи пререгистрации: опубликован полный список журналов

На Open Science Framework опубликован список психологических журналов, участвующих в движении пререгистрации.

Там же можно найти ссылки на материалы, подробно рассказывающие о пререгистрации, и детальный FAQ. Если вам нравится идея обсудить исследование с рецензентами, получить принципиальное согласие на публикацию, а уже потом написать статью по существующему плану и отдать ее в печать вне зависимости от результатов — эта новость для вас.

https://osf.io/8mpji/wiki/home

pic: kevinturquist

Original: http://kevinturnquist.org/images/relate8.jpg

OSF ищет волонтеров

Open Science Framework ищет волонтеров для международного проекта.

Наверняка, многие из вас слышали про Open Science Framework — проект, призванный поддерживать совместные проекты большого количества исследователей. В числе текущих инициатив — проект Reproducibility: Psychology, на данный момент объединяющий более 150 ученых. Цель проекта — оценить воспроизводимость опубликованных в литературе исследований (в том числе когнитивного направления).

В основном, участники проекта занимаются репликациями — выбирают статью и внимательно воспроизводят протокол сбора данных и анализа, после чего описывают результаты. Но есть и другой, более доступный для студентов способ участия в проекте — кодирование статей для базы данных. Заниматься этим может любой человек, способный прочесть выбранную статью и извлечь из нее информацию согласно анкете (например, процитировать основной результат, указанную рядом с ним статистику, количество человек в выборке). Любой человек, добавивший в базу хотя бы одну статью, будет упомянут в итоговой публикации, а добавивший 10 — будет в числе авторов. Это ли не мотивация? К тому же, помимо несомненной пользы для науки, это отличное упражнение по чтению и анализу статей.

Как всегда, TCTS готов поддержать волонтеров — если вы хотите попробовать свои силы, но боитесь сделать что-то не так, не стесняйтесь обратиться к нам за помощью или советом! Подробные инструкции здесь: docs.google.com/spreadsheet/viewform?formkey=dGRpdDkwU01NeXlUS3ZVVGVvb2ltdWc6MQ