Рубрика: TCTS recommends

Байесовский критерий оценки успешности репликаций

Всем интересующимся новыми развивающимися практиками в психологии, и в первую очередь репликационным движением: в JEP вышла замечательная статья «Bayesian tests to quantify the result of a replication attempt».

Авторы (Josine Verhagen, Eric-Jan Wagenmakers) предлагают довольно элегантный метод определения того, успешна ли попытка репликации, основанный на байесовской логике и рассматривающий в качестве нуль-гипотезы отсуствие эффекта, а в качестве альтернативной гипотезы — апостериорное распределение на размер эффекта, полученный в исходном эксперименте. Разумеется, новый метод гораздо более корректен, чем простое сравнение значений p (хотя бы потому что обходит проблему низкой статистической мощности исходного исследования). Более того, у этого метода есть преимущества по сравнению с предыдущими психологическими адаптациями байесовского метода проверки гипотез, при которых альтернативная гипотеза формулировалась, фактически, произвольно.

Статья: http://psycnet.apa.org/journals/xge/143/4/1457/

Препринт в pdf: Verhagen_Wagenmakers_2014_Bayesian_Replication.

Фото: представители издательства Springer на VSS-2014 (courtesy of Ch. Chabris)

04082014

Материалы вебинара по Science Communication

На прошлой неделе Society for Neurosciences (SfN) организовало вебинар, на котором рассказывалось о том, как наиболее просто и эффективно донести до людей, далеких от вашей научной области, суть ваших исследований.

Умение дать «блиц-резюме» своей работы необходимо ученым любых специальностей и уровней, ведь нам часто приходится объяснять, чем мы занимаемся, коллегам из других областей, студентам, журналистам, да и просто семье и друзьям. Помимо советов и рекомендаций, участникам были даны примеры того, как подобные высказывания строят опытные в научной коммуникации нейроученые.

Материалы вебинара (слайды и запись) находятся в открытом доступе по ссылке: http://www.sfn.org/Advocacy/Neuroscience-Funding/Advocacy-Webinars/Communicating-Your-Science

29072014

Подсчет размера эффекта — полезный шаг или прихоть APA?

Сейчас стандартом многих журналов и рекомендацией APA является описание размера эффектов вместе с уровнем значимости и значением статистических критериев. Однако с точки зрения идеи проверки гипотез, размер эффекта не слишком важен, так как главное — подтверждается гипотеза или нет, а не то, насколько велики обнаруживаемые различия.

Говоря проще, сдвиг времени реакции на 10 мс является ничтожным с точки зрения любой практической значимости и размер эффекта будет примерно равен нулю. Но с теоретической точки зрения этот эффект может показывать работу какого-то скрытого процесса, маскируемого сильным шумом (погрешностью) в индивидуальных реакциях.

Эта точка зрения хорошо выражена в словах Рейнольда Клигля:

«At a general level, if your theory expects a small effect, you should not be forced to document a large one. Indeed, that might suggest that something went wrong. Large effects are very desirable in applied settings (where you do not care why an instrument works), but I do not think it is a useful general criterion in the context of theory-guided research».

https://stat.ethz.ch/pipermail/r-sig-mixed-models/2011q2/16 134.html

А что думаете вы по поводу размеров получаемых в ваших исследованиях эффектов? Знаете ли вы как их оценивать?

Успехи пререгистрации: опубликован полный список журналов

На Open Science Framework опубликован список психологических журналов, участвующих в движении пререгистрации.

Там же можно найти ссылки на материалы, подробно рассказывающие о пререгистрации, и детальный FAQ. Если вам нравится идея обсудить исследование с рецензентами, получить принципиальное согласие на публикацию, а уже потом написать статью по существующему плану и отдать ее в печать вне зависимости от результатов — эта новость для вас.

https://osf.io/8mpji/wiki/home

pic: kevinturquist

Original: http://kevinturnquist.org/images/relate8.jpg

Вредные советы от Карла Фристона

Обязательно почитайте эту статью. Карл Фристон под видом вредных советов для рецензента разбирает ряд мифов, которые существуют по поводу статистики и проверки гипотез.

Полезно и весьма. Читать всем, кто подает статьи в западные журналы.

NeuroImage2012Friston

Journal of Visualized Experiments

И все-таки мы живем в увлекательные для науки времена. Например, у нас есть Jounal of Visualized Experiments — журнал, в котором публикуются не статьи, а видео методов.

Журнал преследует две цели. Во-первых, видеорегистрация методов позволяет более точные репликации, нежели следование протоколам, описанным словесно. Во-вторых, с помощью видео можно быстрее и проще научиться различным методам. #горячимюнымкогнитивным могут быть интересны некоторые публикации из разделов Behaviour и Neuroscience.

Например, в этом видео Дэвид Кармел и Марк Аркаро подробно обсуждают методы создания бинокулярного соревнования:

http://www.jove.com/video/2030/how-to-create-and-use-binocular-rivalry

Применение теории обнаружения сигнала к метакогнициям

Ну, а теперь — немного о серьезном.

Многие из тех, кто занимался экспериментами в когнитивной психологии, сталкивались с вопросами измерения «метакогниций», в основном в виде измерения уверенности. Интуитивно понятно и научно подтверждено, что уверенный ответ чаще является правильным. Изменения в степени связи между уверенностью и правильностью ответов рассматриваются как один из показателей неосознаваемой обработки информации. Классически, для измерения этой связи используются коэффициенты корреляции.

В своей новой статье в Frontiers in Human Neuroscience Стив Флеминга и Хакван Лау критикуют этот подход, отмечая, что подобный способ измерения подвержен нежелательным влияниям из-за систематических отклонений в ответах (response biases). В психофизических исследований с подобными отклонениями уже давно научились справляться при помощи методов, основанных на теории измерения сигнала (SDT). Флеминг и Лау предложили подобный подход применить и в исследованиях метакогниций (стоит отметить, что эта идея разрабатывалась уже достаточно давно, но статья во Frontiers обобщает наработки). Применение методов SDT к метакогнициям не только улучшает точность измерения, но и дает возможность выделить компоненты уверенности, такие как собственно метакогнитивная ошибка (стабильное субъективное недооценивание или переоценивание собственной результативности), метакогнитивная чувствительность (насколько человек способен отличить собственный неправильный ответ от правильного) и эффективность метакогниции (насколько уверенность реально отражает результативность у конкретного человека). Измерение этих компонентов позволяет с гораздо большей точностью обнаруживать метакогнитивные сдвиги при решении различных задач, и открывает богатые просторы для анализа и моделирования метакогниций.

Всем, кто занимается или планирует заниматься анализом уверенности — TCTS рекомендует.

Препринт — http://journal.frontiersin.org/Journal/10.3389/fnhum.2014.443/abstract

pic: xkcd

Lady Data

Посвящается фрустрации от анализа данных, упорно не желающих поддаваться логическому объяснению.

vk.com/video-64 839 783_169010464?list=44de24311f9017b026

(по ссылке — видео)

Эврика!

Старое, но всегда актуальное

Original: http://s6.pikabu.ru/post_img/2014/05/15/9/1 400 158 840_1019836421.jpg

«You should be just terrified»

«Не-статистикам, опасающимся научных цифр в литературе, я могу сказать следующее: «Цифр, которые вы слышите, не нужно бояться. Иногда от них стоит приходить в ужас».

(«To non-statisticians who are afraid of scientific numbers in the literature, I can tell you that you should not be afraid of the numbers you hear. Sometimes, you should just be terrified»)

Речь Джона Иоаннидиса на факультете статистики в Университете Калифорнии в Беркли — «Ошибки (мои собственные) и устрашающая неопределенность чисел».

Полный текст речи опубликован в European Journal of Clinical Investigation: http://www.ncbi.nlm.nih.gov/pubmed/24 785 138?dopt=Abstract

pic: http://xkcd.com/605/