Архивы tcts_read | Страница 4 из 5

Где искать научные новости?

*Для тех, кто недавно пришел, а также для тех, кто давно с нами, но внезапно озаботился проблемой формирования научной новостной ленты, мы решили поднять и дописать/переписать один из наших ранних материалов*.

Ни для кого не секрет, что чтение научной литературы — один из основных видов деятельности ученых. Когда-то для того, чтобы оставаться в курсе всех текущих дел, достаточно было получать пару журналов в месяц, но эти времена давно прошли. Сначала журналов стало больше, потом они стали электронными, а вскоре научная информация проникла и в более разнообразные Интернет-каналы. Следить за всем этим потоком стоит по-разным причинам. Во-первых, даже в консервативном варианте, просматривать последние выпуски журналов своей отрасли нужно всем ученым. Во-вторых, блоги и Твиттер позволяют «подслушивать» дискуссии и учиться анализировать информацию. Вы же не хотите узнавать о научных новостях от журналистов? В-третьих, окунувшись в научный Интернет, вы поймете, что вы не одни в своих исследовательских страданиях, что вполне поддерживает в трудную минуту. В общем, мы очень рекомендуем найти и подписаться на научные новости, соответствующие вашим интересам. Чтобы показать, как это примерно выглядит, мы решили поделиться некоторыми своими подписками.

В настоящий момент наши новостные ленты состоят из следующих элементов (в списке — примеры из наших подписок, не все, только самые важные или яркие примеры). Естественно, поток информации большой, поэтому многие вещи получается только пролистывать или вообще пропускать.

Социальные сети плохо обрабатывают гиперссылки, поэтому полноценный список ссылок смотрите в посте на нашем сайте.

1. Гугл-группы и email-рассылки (listservs). Посвящены распространению информации о конференциях, мероприятиях, магистерских программах и PhD/Postdoc/job-позициях, и обсуждению вопросов, интересующих конкретное сообщество.

Ф:
- Stan-users — для тех, кто занимается байесовским анализом и использует Stan
- Mosling — группа для лингвистов, информация о конференциях, докладах, можно спросить какую-нибудь статью или консультацию коллег по спорному вопросу (после первого ответа переписку следует переводить в приват)
- aaa_statgeeks — сообщество питерских и московских психологов, где можно спросить совета по анализу данных. Не очень активно.
- LinguistLists — логово лингвистов, но временами встречаются материалы, связанные с psycholinguistics
- Maths-neuronet — материалы, связанные с computational neuroscience
- Comp-neuro — еще один дайджест по computational neuroscience
- CogSeminar — рассылка Московского семинара по когнитивной науке, в первую очередь, информация о докладах
Н:
- Visionlist & CVNET — основные рассылки в сообществе исследователей зрения. Информация о конференциях, курсах, вакансиях. Содержание двух рассылок часто (но не всегда) пересекается.
- Группы, связанные с интересными мне сообществами и инструментами, которыми я пользуюсь: SoftwareCarpentry, Fieldtrip etc.
- Еще иногда существуют локальные подписки научного центра/университета/объединения. У меня их довольно много, для российских ученых эту роль может выполнять Cogito Ergo.
А:
- В дополнение к уже вышеописанному — московская фМРТ-рассылка Fmri-all
- Плюс я зачем-то подписан на два листа Society for Philosophy & Psychology: spp-announce и spp-misc. Ближе к философии, редко что-то пишут, но для интересующихся темой могут быть полезные объявления.

Pro Tip: чтобы не отвлекаться на каждое входящее письмо из этих групп, рекомендуем автоматически фильтровать их в отдельную папку и читать, когда есть время. Однако, если читать реже раза в неделю-две, высок риск устаревания информации. Pro Tip2: Google Mail автоматически отправляет все во вкладку форумы.

2. Twitter. Не очень популярный в России и, на наш взгляд, сильно недооцененный инструмент. Между тем, в твиттере можно читать горячие новости с конференций
Читать далее Где искать научные новости?

Ещё раз о Reproducibility project

С некоторым опозданием подводим итоги нового витка дискуссии о воспроизводимости в психологии. Пост подготовлен специально для газеты PSYNEWS.

TL;WR:

— Независимая группа ученых подвергла резкой критике известное исследование воспроизводимости психологических результатов;

— Выдвинутые замечания, касающиеся примененных статистических методов, основаны на некорректных теоретических предпосылках;

— Все в порядке, у нас все еще кризис.

Прошло полгода с момента публикации в Science большого и громкого исследования Open Science Collaboration [1], посвященного воспроизводимости результатов психологических исследований. Об этом исследовании с разной степенью точности рассказывали, наверное, во всех научных и околонаучных медиа. Писали о нем и мы [2]. За прошедшие месяцы статья достаточно много цитировалась (более 150 раз по данным Google Scholar), кроме того, в кулуарах обсуждались различные варианты дополнительного анализа имеющихся данных, и некоторые из них даже были оформлены в виде статей. Например, байесовский анализ от Александра Этза, который мы приводили в исходном посте, теперь в расширенном виде [3] опубликован в Plos One.

Несколько недель назад в целом мирное обсуждение путей развития психологической науки было нарушено появлением в Science комментария к статье Нозека за авторством гарвардского психолога Дэниела Гилберта и нескольких его коллег [4]. В комментарии утверждается, что исследование, проведенное командой Нозека, содержит аж три дополнительные неучтенные погрешности, и если эти погрешности учесть, уровень реплицируемости получается очень даже оптимистичный. Комментарий вышел одновременно с ответом команды OSC [5] и с едким пресс-релизом от Гарварда [6], позволившем комичной ситуации снова разойтись волнами в СМИ: «В психологии все настолько плохо, что даже исследование того, насколько все плохо, плохое».

Первое прочтение статьи Гилберта и сопровождающего её пресс-релиза вызывает смешанные чувства. С одной стороны, часть поднимаемых вопросов звучит здраво (например, можем ли мы действительно считать адекватной попытку репликации социальных эффектов в другой стране на другом языке). С другой стороны, некоторые формулировки, использованные в описании статистических понятий, вызвают удивление — они откровенно не соответствуют общепринятым.

Если кратко, то критика в статье Гилберта была высказана в адрес трех вещей: 1) статистического критерия того, что считать успешной репликацией, 2) статистической мощности репликаций OSC и 3) отличий репликаций от оригинальных исследований. Для объяснения первых двух пунктов придется ненадолго погрузиться в технические детали.

Критика № 1: критерий репликации

Авторы из Гарварда утверждают, что OSC неправильно рассчитали ожидаемый процент результатов, невоспроизведенных по сугубо статистическим причинам. Однако, предложенное ими «улучшение» основывается на некорректной трактовке доверительных интервалов [7,8]. Гилберт и коллеги считают, что результаты 95% репликаций должны находиться внутри доверительных интервалов оригинальных исследований. Они забывают, что если оригинальное исследование имело небольшую выборку и слабый эффект, доверительный интервал будет огромным, и «успешно» воспроизвести такое исследование не составит труда. И наоборот, чем точнее исходное измерение, тем сложнее будет «попасть» в него репликацией. Использовать такой плавающий критерий для оценки успешности репликаций кажется странным.

Критика № 2: мощность

Здесь Гилберт и коллеги рассказывают, что в другом репликационном исследовании (ManyLabs) процент воспроизведенных результатов достиг аж 85, и утверждают, что такой успех обеспечивается большой выборкой в репликациях [9].

Суть ManyLabs в том, что каждое из 16 исследований повторяли 35 раз в разных лабораториях по всему миру, исследовав в общем более 6000 человек. Таким образом, по каждому исследованию в ManyLabs было получено 35 обычных выборок, вместе составляющих одну огромную супер-выборку. Этот подход отличается от подхода OSC, где 100 исследований повторяли по 1 разу, и достаточный размер выборки рассчитывали на основе результатов оригинала.

По словам Гилберта и соавторов, если посмотреть на супер-выборки, воспроизводятся 85% оригинальных результатов. Однако, если применить подход OSC и посмотреть на каждую малую выборку внутри супер-выборки, процент реплицируемых эффектов падает до 35. Если это действительно так, это может означать, что результаты OSC страдают от недостаточной статистической мощности и недооценивают воспроизводимость в целом. Однако, более внимательный анализ показал, что 85% и 35% были получены в результате не сравнимых друг с другом вычислений. 35% в малых выборках — это репликации, попавшие в доверительный интервал оригинального эффекта, а 85% в супер-выборках — это количество репликаций, достигших критерия статистической значимости (p < .05). Если же выбрать общий подход, измерения воспроизводимости в слитых вместе и разрозненных выборках становятся более похожи друг на друга и держатся в районе 40%-50% [10].

Критика № 3: точность

Теперь отойдем от деталей анализа и поговорим о (еще) более творческой части исследования — насколько точно должен протокол репликации повторять протокол оригинального исследования? По мнению Гилберта и коллег, все выше описанные математические рассуждения имеют смысл только в том случае, если единственным отличием репликации от оригинала является новая выборка из той же самой популяции, а этому критерию исследования OSC явно не удовлетворяют. В своем комментарии они описывают, например, следующие странности репликаций в OSC: «исследование отношения американцев к афро-американцам проводилось на итальянцах» или «исследование, где маленьким детям давали сложную задачу превратилось в исследование, где более старшим детям давали простую задачу». Звучит, конечно, настораживающе. Неужели авторы репликаций действительно настолько халатно отнеслись к оригинальным исследованиям?

OSC определяют прямую репликацию как «попытку воссоздания условий, которые считаются достаточными для обнаружения ранее описанного результата». Формулировка весьма расплывчатая, но стоящая за ней философия примерно понятна: не бывает идентичных исследований, но бывают ситуации, в которых психологические эффекты, если они обнаружены и описаны корректно, должны работать. Возьмем в качестве иллюстрации один приведенных в комментарии примеров. Как пишут Гилберт и коллеги, «исследование, в котором израильтянам нужно было представить последствия ухода в армию, превратилось в исследование, в котором американцам нужно было представить последствия медового месяца». Эффект воспроизвести не удалось, но при таком описании метода это совсем не кажется удивительным. Какова же была логика участников OSC?

По данным OSC [11], в оригинале [12] исследовалось взаимодействие жертвы и обидчика. В ходе исследования участники зачитывали гипотетические сюжеты. Например, «Представьте, что вы и X — коллеги. Вы долго работали над проектом, но перед самым его завершением вы вынуждены уйти в армию/декрет, и вы просите Х завершить пару задач за вас. Эти задачи Х выполняет на отлично и получает вашу должность, а вас понижают и отправляют в другой отдел. Х знает, что делает неправильно, но принимает повышение» . Исследуемый процесс взаимодействия социальных ролей не предполагал культурных различий, и репликацию вместо Израиля проводили в США. Однако, в США понижение в должности во время декрета нелегально, и в армию внезапно не забирают, поэтому ради реалистичности история была изменена: сотрудник должен был уйти в отпуск из-за давно запланированной свадьбы и медового месяца. Смысл исследования остался тот же, детали изменились. По мнению Гилберта и коллег, такие изменения недопустимы в репликациях, на то они и репликации. С другой стороны, если эффект исчезает от небольших вариаций задачи, не ставит ли это под сомнение если не его существование, то хотя бы его размер и генерализуемость?

В общем, авторам комментария не удалось убедить сообщество в том, что никакого кризиса воспроизводимости не существует. Несмотря на яркий язык, их критика свелась к тому, что психологические эффекты тонкие и хрупкие, и их можно обнаружить в исключительно специфических условиях. Это действительно похоже на правду, но в таком случае нашей первоочередной задачей является увеличение мощности исследований для того, чтобы с уверенностью отличать реально существующие тонкие закономерности от ложноположительных результатов. И конечно же для этого нужны крупные коллаборации. В конце концов, судя по этой статье, даже гарвардские профессора допускают статистические ошибки.

http://science.sciencemag.org/content/349/6251/aac4716
http://tcts.cogitoergo.ru/ru/blog/o-reproducibility-project#.VvsldBJ95m8
http://journals.plos.org/plosone/article?id=10.1371/journal.pone.149 794
http://science.sciencemag.org/content/351/6277/1037.2.full
http://science.sciencemag.org/content/351/6277/1037.3.full
http://news.harvard.edu/gazette/story/2016/03/study-that-undercut-psych-research-got-it-wrong/
https://ru.wikipedia.org/wiki/Доверительный_интервал
http://thinkcognitive.org/ru/blog/golova-professora-bambldorfa#.VvsmcxJ95m8
https://osf.io/wx7ck/
https://hardsci.wordpress.com/2016/03/03/evaluating-a-new-critique-of-the-reproducibility-project/
http://retractionwatch.com/2016/03/07/lets-not-mischaracterize-replication-studies-authors/
Shnabel, N., & Nadler, A. (2008). A needs-based model of reconciliation: satisfying the differential emotional needs of victim and perpetrator as a key to promoting reconciliation. Journal of personality and social psychology, 94(1), 116.

TCTS в Telegram

Нам периодически попадаются потенциально интересные ссылки, про которые писать подробно либо нет времени, либо нет смысла. Чтобы иметь возможность делиться ими с вами, мы завели группу в Телеграме. Предупреждаем сразу — помимо ссылок там много флуда и контент интересен только тем, кто занимается когнитивной наукой. Там также могут встретиться не слишком цензурные выражения, неприкрытый скепсис в отношении поп-психологии и циничное отношение к авторитетам.

Если все это вас не отпугнуло, мы будем рады вас видеть, подписывайтесь тут: https://telegram.me/joinchat/At45Sz4c7nwlidbLKvAw1w Для остальных мы будем периодически выкладывать интересные ссылки оттуда. Первая порция — в посте на сайте. На этот раз их очень много, это все за вторую половину февраля. Потом постараемся постить более маленькими порциями.

Читать далее TCTS в Telegram

Do research! Go basic!

В 1945 году Вэнивар Буш подготовил отчет для президента США, в котором аргументировал важность фундаментальной науки для развития знаний о мире и прогресса технологий. Этот отчет вошел в классику литературы, касающейся взаимоотношений науки и общества, и в конечном итоге привел к созданию крупнейшего американского научного фонда — NSF, National Science Foundation. Почитать отчет можно тут: www.nsf.gov/od/lpa/nsf50/vbush1945.htm, а здесь — обсуждение его судьбы и дальнейшего развития науки 50 лет спустя: archive.cspo.org/_old_ourlibrary/documents/bushconfhighlights.pdf. Вот небольшая выдержка из него:

Basic research is performed without thought of practical ends. It results in general knowledge and an understanding of nature and its laws. This general knowledge provides the means of answering a large number of important practical problems, though it may not give a complete specific answer to any one of them. The function of applied research is to provide such complete answers. The scientist doing basic research may not be at all interested in the practical applications of his work, yet the further progress of industrial development would eventually stagnate if basic scientific research were long neglected. … Basic research leads to new knowledge. It provides scientific capital. It creates the fund from which the practical applications of knowledge must be drawn.

В общем — Do research! Go basic!

Каково учиться в магистратуре Mind & Brain в Берлине

Что такое хорошее образование по когнитивным наукам? Однозначный ответ на этот вопрос дать нельзя, поскольку когнитивные науки это сочетание разных направлений. Однако в качестве неплохо примера когнитивной магистратуры с упором на нейронауки можно привести магистратуру Mind & Brain (http://www.mind-and-brain.de/home/) в университете Гумбольдта в Берлине (точнее ее «brain» часть; «mind"-направление имеет более философский уклон). Чтобы вы примерно представляли, что это такое, вот замечательное описание от одной из студенток, закончившей ранее магистратуру на факультете психологии СПбГУ (http://bonny-par-ker.livejournal.com/234 354.html). Краткий оргвывод — если вы хотите заниматься наукой, надо серьезно пахать.

--------------------------
И вот мне коллега и друг говорит: «А ты напиши про то, как тебе там учиться. Глядишь, тебе полегче станет. Заодно наши студенты посмотрят на уровень загрузки и соотнесут со своими жалобами на сложность программы».
В самом деле, почему бы и не написать.

Итак.

У меня есть два предмета, которые обязательны для всех. Остальные по выбору.

1. То, что на психфаке называлось Анатомия и физиология ЦНС, и физиология ВНД. Эти предметы шли первые три семестра. Здесь программа несколько иначе выглядит, но общего много. Назвается Neuroanatomy and Neurophysiology, и умещается она в один семестр. В итоге будет тест 30 вопросов. До этого момента никаких проверок. Тест в начале февраля.

2. Cognitive Neuroscience, от которого мне предлагали отказаться, дескать, навреняка, у вас это было. Но я была умной, и не отказалось. Отчасти программа перекрывалась физиологией ВНД, но здесь все гораздо подробнее. В конце тоже тест 30 вопросов.

По этим дисциплинам лекции идут в понедельник, а семинары в пятницу. В пятницу можно обсудить то, что осталось непонятным на лекции, поговорить про какие-то части более подробно, посмотреть на проблему с разных сторон.
На самом деле, эти две дисциплины во многом помогают друг другу. Типа, ты разабролся со зрительной корой на анатомии, и тебе уже проще понимать процесс. С другой стороны, ты не разобрался с ядрами таламуса — умри, потому что понять хоть что-то про интеграцию информации в голове будет намного сложнее.

Остальное, дисциплины по выбору. Теоретически, можно было взять меньше, однако этот набор мне представляется необходимым минимумом для хоть какого-то продвижения (пока непонятно куда).

3,4 Introduction to MATLAB, Introduction to R Без них ни в одну приличную лаборатрию не возьмут, тут и говорить не о чем. Кроме разве того, что чуть-чуть какое-то представление о R у меня было, и пока что есть ощущение, что я скорее справляюсь. А с MATLAB ничего у меня не было, и просто на то, чтобы отставать от остальных не очень сильно, уходит много времени, а нужно еще больше. Дело в том, что в моей группе людей, выбравших этот курс, у всех есть какой-то внятный программистский опыт, и это как-то не совсем introduction получается.

В итоге нужно будет построить мало-мальски внятный эксперимент, и посчитать его. И решить экзаменационное задание в R на время, но это, говорят, будет не очень трудно. Раз в неделю нужно сдавать задания строго в установленный срок. Два раза не сдал — прощай. Сдавать можно в паршивом виде, главное, чтобы хоть что-то было. Потом в начале занятия обсуждают эти задания, но если что-то серьезное было непонятно — толку не будет. Разве что какие-то маленькие детали можно подчистить.

5 Neuroscience of Motivation
Занятие раз в неделю, для подготовки к нему, нужно прочитать статью, и написать какой-нибудь вопрос к ней для дискуссии. Если ты в начале семинара не сдал вопрос, считается, что тебя не было. На занятии кто-то подробно презентует эту статью, добавляет всякой релевантной информации, а потом происходит дискуссия. На следующей неделе у меня будет доклад.
В конце концов нужно будет написать эссе на 10 сраниц: проанализировать сколько-нибудь статей, по выбранной теме, и добавить туда своих собственных мыслей.

6 Manipulation of memory

7 Characteristic Alterations of Functional Connectivity in Neurological and Psychiatric Disorders
По форме это похоже на предыдущую историю, то есть занятия раз в неделю, а именно две пары в среду, и на них мы тоже читаем и обсуждаем статьи. Суть такова, что больше всего это похоже на DOOM2///Hell on earth.
Статьи большие и сложные, и для того, чтобы их понимать, нужна теоретическая основа. Некоторый уровень защиты — если ты в прошлом закончил бакалавриат по нейробиологии. Эти ребята чувствуют себя в целом неплохо, хотя тоже напрягаются. И все же у них типа запасной аптечки. Дважды хорошо тем, кто свою нейробиологию делал в Америке и Юкее и свободно говорит и читает на английском. У них как бы бронежилет. В общем, это не про меня. Поэтому у меня уже морда в крови патроны почти закончились, а монстры все наседают.
В итоге нужно выбрать тему и написать эссе на 20 страниц.

Чтобы допуститься к оценке, нужно по каждому предмету посетить не меньше 75% занятий.

Кроме того, в апреле будет блоком недельный курс по Neuroimaging, когда занятия будут с утра до вечера, а в конце недли тест. До этого надо прочитать и осознать учебник по курсу.

На этом, после сдачи эссе мой первый семестр будет окончен.
-------------------------------

О TCTS и обновленный топ постов

*первое правило TCTS — расскажи всем о TCTS*

Итак, прошла уже добрая половина семестра, и мы очень надеемся, что за это время среди студентов появились новые почитатели наук о мозге и познании. В качестве приветствия и в предвкушении скорого запуска наших обновленных конкурсов, мы решили напомнить всем #горячимюнымкогнитивным, кто мы и зачем к нам стоит присоединиться.

Think Cognitive Think Science — это отличный источник информации и ресурсов для тех, кто начинает погружение в когнитивную науку:

Мы рассказываем про то, как в XXI веке делают науку: какими навыками полезно овладеть, какие программы сделают вашу жизнь легче, как вообще люди умудряются сделать когнитивные исследования своей профессией.
Мы проводим конкурсы, участвуя в которых можно научиться необходимым современному когнитивисту навыкам и выиграть дополнительное финансирование для осуществления своих научных желаний.
Мы проводим школу для продвинутых #горячихюныхкогнитивных, на которой можно познакомиться с перспективными техниками сбора и анализа данных, и пообщаться с коллегами.
Мы публикуем информацию об образовательных программах, анонсируем профильные конференции, научные школы и семинары, рассказываем, как получить грант на поездку или участие в них.
Мы рассказываем о науке не для публики, а для коллег, а также рассказываем об околонаучных новостях и шутим профессиональные шутки.
Мы общаемся друг с другом на конференциях и школах или просто так. Знать коллег из других лабораторий и городов приятно и полезно.
Мы очень неформальны и всегда готовы помочь или посоветовать в вопросах, касающихся науки или академической карьеры. Да и в целом открыты для общения.

Помимо группы ВК, нас можно найти здесь: http://tcts.cogitoergo.ru и www.facebook.com/thinkcog/, или написать нам на почту: ">

***

За почти два года существования проекта на нашем сайте накопилось некоторое количество полезных материалов. Список меток и рубрик вы можете увидеть зайдя на страницу блога (http://tcts.cogitoergo.ru/ru/blog/). Там же, кстати, есть поиск, если вы вдруг хотите найти понравившийся вам пост, но не помните, где он был. А наиболее популярные материалы мы собрали в отдельный список (ссылки видны из блога):

Цикл о постерах:
Программы для создания постеров
Примеры плохих и хороших постеров
Библиотека полезных материалов по созданию научных постеров
Как сделать хороший постер
Контрольный список при подготовке научного постера

О статистике:
Обзор учебников по статистике и мат. методам анализа данных ,
Инструментарий аналитика: R
R: учебники
Инструментарий аналиика: SPSS
Инструментарий аналитика: софт
Голова Профессора Бамблдорфа
Идеальный t-test
Книги по data science

Где искать литературу и как на нее ссылаться:
Поиск полнотекстовых версий статей
Proxy СПбГУ
Поиск научной литературы
Оформление списка литературы с помощью Mendeley/Zotero
Отличительные признаки не очень хороших статей от CompoundChem
Список хищнических журналов 2015
Google Scholar Button

Tips and Tricks:
Правила описания данных и составления графиков в психологии
10 бесплатных программ, которые сделают вашу научную жизнь продуктивнее ,
Смотри таблица пять
Как написать хорошее эссе
Про стандарты и людей

Кейс по систематизации работы с информацией-1,2
Советы от Nature для тех, кто хочет изучать Python
Как получить максимум от поездки на конференцию

Разное:
Слайды Science™
Рабочая память: модели и подходы к изучению
Изучение сознания без оценок осознанности
Летние школы по когнитивной психологии 2015
O Reproducibility Project
Как понять, достаточно ли я умен или умна, чтобы заниматься исследованиями

Автоматическая проверка правильности p-значений в статьях

Неделю назад в журнале Behavior Research Methods появилась интересная статья (http://link.springer.com/article/10.3758/s13428−015−0664−2/fulltext.html), в которой авторы описывают новый пакет для R, позволяющий автоматически проверять правильность расчета p-значений.

По сути все очень просто — программа анализирует текст статьи (который при необходимости переводится из PDF или html в txt), и выделяет из него с помощью регулярных выражений () текст, соответствующий стандартному APA-описанию статистики. Например, для t-теста ищется паттерн наподобие t (DF) = X, p = Y (с учетом возможного появления пробелов, знака < после p и разных форматов чисел). После чего для указанных DF и X пересчитывается Y и сравнивается с указанным в статье.

Сравнение с результатами проверки вручную показали, что пакет неплохо справляется, хотя ожидаемо пропускает тесты в таблицах, иногда не справляется с односторонними тестами, не понимает неформатные записи, и не всегда ловит поправки на множественные сравнения. Тем не менее, порядка 70% результатов корректно вылавливаются и общий процент рассогласований между подсчитанным p и p, описанным в статье, составляет 4.3% при ручном подсчете и 5.8% при автоматическом. То есть в общем и целом если уж выловил, то проверит скорее правильно.

С помощью этого пакета товарищи проверили 30 717 статей, из них p-значения встречались в 16 695 статьях. Анализировались два типа расхождений — незначительные (p > .05 или < .05 и таковым и остается при пересчете) и грубые (p < .05, но становится незначимым при пересчете, или наоборот).

Основные результаты анализа таковы. Хотя бы одна грубая ошибка при расчете p встречается в 13% статей, а на одну статью в среднем приходится 1.6% грубых ошибок. При этом важный позитивный момент — доля грубых ошибок с годами снижается. Причем как показывает рисунок ниже снижается она в основном за счет уменьшения доли грубых ошибок среди значимых результатов, то есть уменьшается число ошибочно значимых находок. Интересно также, что особых различий между журналами в различных областях нет, так что нельзя сказать, что социальные психологи чаще клинических или общих делают ошибки в подсчетах.

Было бы любопытно доработать этот пакет до автоматической проверки соответствия описания результатов стандартам. Тогда он мог бы стать таким базовым фильтром при публикации статей и помог бы еще больше улучшить качество публикаций. Ну и хорошо бы, чтобы его начали использовать в России и не только для статей, но и, например, для выпускных работ.

Рисунок 7 из Nuijten et al. (2015). Изменение доли грубых ошибок по годам среди значимых (верхняя линия) и незначимых (нижняя линия) результатов.

Мэттью Ботвиник будет работать в Google DeepMind

Мэттью Ботвиник, один из ключевых авторов теории когнитивного мониторинга конфликта, будет работать в Google DeepMind (https://twitter.com/p1sh/status/657 632 506 850 725 888). Очень круто, когда такого уровня исследователи начинают работать в индустрии, хотя возможно правильнее было бы назвать DeepMind частным исследовательским центром. Надеемся, что в силиконовой долине Ботвинику будет хорошо и предлагаем почитать некоторые из его публикаций:

Botvinick, M., & Braver, T. (2015). Motivation and cognitive control: from behavior to neural mechanisms. Annual Review of Psychology, 66, 83−113. pdf

Shenhav A., Botvinick M.M., & Cohen J.D. (2013). The expected value of control: an integrative theory of anterior cingulate cortex function. Neuron. pdf

Brunton, B., Botvinick, M. & Brody, C. (2013). Rats and humans can optimally accumulate evidence for decision-making. Science, 340, 95−98. pdf

Botvinick, M. (2012). Hierarchical reinforcement learning and decision making. Current Opinion in Neurobiology, 22, 956−962. pdf

Botvinick, M. & Toussaint, M. (2012). Planning as inference. Trends in Cognitive Sciences, 10, 485−588. pdf

Kool, W., McGuire, J. T., Rosen, Z., & Botvinick, M. M. (2010). Decision making and the avoidance of cognitive demand. Journal of Experimental Psychology: General, 139, 665−682. pdf

Botvinick, M. (2007). Conflict monitoring and decision making: Reconciling two perspectives on anterior cingulate function. Cognitive, Affective and Behavioral Neuroscience, 7, 356−366. pdf

Botvinick, M., Cohen, J. D. & Carter, C. S. (2004). Conflict monitoring and anterior cingulate cortex: An update. Trends in Cognitive Sciences. 8, 539−546. pdf

Botvinick, M., Braver, T., Barch, D. Carter, C. & Cohen, J. (2001). Conflict monitoring and cognitive control. Psychological Review, 108 (3), 624−652. pdf

Carter, C. S., Braver, T. S., Barch, D. M., Botvinick, M. M., Noll, D., & Cohen, J. D. (1998) Anterior cingulate cortex, error detection, and the online monitoring of performance. Science, 280, 747−749. pdf

Botvinick, M. & Cohen, J. D. (1998). Rubber hand ‘feels' what eyes see. Nature, 391, 756. pdf

Изучение сознания без оценок осознанности

Одна из основных проблем в изучении (о)сознания в когнитивных науках заключается в том, что как ни крути, а чтобы проверить наличие сознания необходимо каким-то образом получить об этом отчет от испытуемого. В каком бы виде этот отчет не происходил — через вербальный ответ, через нажатие на кнопку, через подергивание правого мизинца, как угодно.

Даже когда исследователи говорят, что научились проверять наличие сознания у находящихся в коме пациентов (http://www.nature.com/news/neuroscience-the-mind-reader-1.10 816), по сути речь идет о новом виде отчета через представление (воображение) специфического вида активности, которую можно более-менее надежно опознать по реакции мозга при определенной тренировке пациента. Однако само то, что мы знаем, что такая реакция мозга связана с представлением определенной активности завязано на предыдущие исследования, в которых нормальные люди давали отчет о том, что представляют эту самую активность. Грубо говоря, о том, что реакция мозга, А связана с субъективным опытом Б мы знаем из того, что до этого взрослый человек, в отношении которого нет причин сомневаться в наличии сознания, сообщил нам о наличии опыта Б примерно тогда же, когда регистрировалась реакция А. Обратный вывод — о наличии опыта Б по реакции, А — требуется огромного множества дополнительных допущений. Поэтому, например, заявления о наличии сознания у животных (https://en.wikipedia.org/wiki/Animal_consciousness#Cambridge_Declaration_on_Consciousness) поддерживаются далеко не всеми (http://plato.stanford.edu/entries/consciousness-animal/).

После этой длинной прелюдии можно перейти к тому, что послужило поводом для сегодняшнего поста. В Nature Neuroscience опубликована интересная статья «Negligible fronto-parietal BOLD activity accompanying unreportable switches in bistable perception» за авторством Jan Brascamp, Randolph Blake и Tomas Knapen (http://www.nature.com/neuro/journal/vaop/ncurrent/full/nn.4130.html, PDF можно найти через известный всем сервис, ну или написать в комментах, если не найдете). Авторы придумали интересный способ изучить изменение осознанного опыта, которое не замечается самими испытуемыми. Для этого они использовали феномен, который называется «бинокулярная конкуренция» (https://en.wikipedia.org/wiki/Binocular_rivalry). Сущность его заключается в том, что если на два глаза вам подается несогласованная информация (например, два разных лица или горизонтальные и вертикальные линии), то при определенном наборе условий вы будете в каждый момент времени воспринимать только информацию поступающую на один глаз, причем периодически переключаясь между левым и правым глазом.

Исследования этого феномена обычно проводятся с применением специального устройства, зеркального стереоскопа, но вы можете попробовать ощутить на себе эффект бинокулярной конкуренции с помощью этой картинки.

Попробуйте расфокусировать взгляд, чтобы два изображения (левое и правое в любом ряду) совпали друг с другом. Вы увидите, что вместо двух изображений одновременно, вы воспринимаете их по очереди. Браскамп и коллеги использовали похожие стимулы, только в их случае это были движущиеся наборы случайных точек. Они показали, что если давать два набора точек разных цветов (на левый глаз — красные точки, на правый синие, или наоборот), то испытуемые легко замечают переключение воспринимаемого изображения. So far, so good. Кроме того раз в несколько секунд испытуемым показывают уже не случайный, а упорядоченный поток точек, движущихся для двух глаз в противоположные стороны, и просят сказать, куда, собственно, движутся точки. Все это делается на протяжении нескольких экспериментов, причем в ключевом эксперименте также записывается активность мозга с помощью фМРТ.

Итак, в чем фишка? Фишка в том, что-то, как частота переключения восприятия между левым и правым глазом довольно устойчивая индивидуальная характеристика. Более того, если проанализировать данные по частоте изменения цвета (в условии, где разные цвета), и частоту изменения восприятия направления движения пульсов (в условии с одинаковыми цветами), то получается, что математическая модель, описывающая эти два условия будет обладать примерно одними и теми же индивидуальными параметрами для каждого испытуемого. А это значит, что в условии с одним и тем же цветом точек переключение воспринимаемого потока информации у испытуемых происходит примерно с той же частотой, что и в условии с двумя цветами. То есть сознательный опыт испытуемых меняется в промежутках между пульсами, хотя они этого не осознают. А это очень круто, потому что это дает возможность отделить собственно осознание как непосредственный субъективный опыт от внимания, которое привлекают изменения, или «метаосознанности», то есть осознание осознания.

Ну, а затем уже можно попытаться разделить их мозговые корреляты, как сделали Браскамп и коллеги, показав, что непосредственно к осознанию фронто-париетальные области, часто связываемые с принятием решений и «исполнительным» контролем, вроде бы отношения не имеют. Но это уже на сладкое, главное же, на мой вкус, то, что у вас появляется возможность отделить субъективный отчет и осознанность. Изучению сознания у животных это вряд ли поможет, а вот более полному понимаю того, что такое осознание — точно.

На закуску (подходит время ланча, и кулинарные метафоры встречаются все чаще), вот вам виде к статье, в котором кратко показана процедура и основные результаты. Инджой!

Not so mighty after all

Идея «мощного бессознательного» не подтвердилась по результатам масштабного исследования принятия решений, проведенного в университете Гронингена (Нидерланды).

Вообще, под «мощным бессознательным» можно понимать разные вещи. Кто-то считает, что восприятие подпороговой информации (подпороговый прайминг) — это уже достаточно мощно. В данном случае речь идет о том, что если нужно учесть большое количество факторов, бессознательное «переваривание» информации может приводить к более успешным решениям, чем осознанное размышление. Эффекты такого рода демонстрируются, например, в работах Апа Дейкстерхёйса и коллег из университета Неймегена (http://www.unconsciouslab.com/). Однако критики утверждают, что подобные эффекты можно объяснить недостаточной строгостью проводимого статистического анализа, вмешательством дополнительных переменных, или отбором для публикации только положительных результатов. В свежей статье, опубликованной Нойвенштайном и коллегами в журнале Judgment and Decision Making (http://journal.sjdm.org/14/14 321/jdm14321.html), приводятся результаты самого крупного на сегодняшний день исследования по данной теме (выборка — 399 человек) и мета-анализа прошлых работ по этому эффекту.

Испытуемым предъявлялись по 12 качеств, относящихся к 4 машинам или 4 домам, после чего в одном условии испытуемым давалось три минуты на подумать, в другом давалось на подумать столько, сколько хочется, а в третьем на те же три минуты давалось отвлекающее задание. Каждый испытуемый один раз принимал решение в условии «подумать» (либо с ограничением времени, либо без) и один раз — с отвлекающим заданием. Результаты показали, что хотя между условиями была небольшая разница (в варианте «подумать» испытуемые сделали оптимальный выбор в 58% случаев, а при отвлекающем задании — в 62%), она оказалась статистически незначимой. Более того, мета-анализ — статистический анализ прошлых исследований, включавший и исследование самих авторов — также не показал превосходства принятия решений с отвлечением от задачи над принятием решений с размышлением над выбором. Другими словами, если эффект превосходства «бессознательного переваривания информации» и существует, он очень, очень слабый. И бессознательное в конечном итоге не такое мощное.

Мораль этой истории в том, что к неожиданным открытиям, особенно в области социальной психологии, стоит относится с большим подозрением. Более десяти лет прошло с публикации первых работ Дейкстерхёйса по этой теме, и убедительных доказательств его правоты до сих пор нет (если интересно, Nature опубликовало материал по теме с комментариями исследователей: http://www.nature.com/news/unconscious-thought-not-so-smart-after-all-1.16 801). Возможно, за следующие десять лет все же будет найдена критическая комбинация условий, при которой отсутствием размышлений над решением действительно помогает. Но это маловероятно — работа Нойвенштайна как раз отличается тем, что они постарались включить все те факторы, которые сторонниками идеи «мощного бессознательного» описываются как помогающие проявлению эффекта. Например, испытуемых просили при просмотре характеристик машин или домов не сосредотачиваться на деталях, а сформировать общее впечатление, предъявляли картинки конкретных домов или машин, включили в анализ гендер, и т. д. Это не значит, что мы не перерабатываем информацию бессознательно — в конце концов, любая сознательная активность по определению основывается на бессознательной (мысль не возникает из воздуха). Но мы пока еще мало созрели для того, чтобы понимать как работает мозг в простых задачах, что уж говорить о том, что происходит в более сложных случаях.

(картинка с http://slurmed.com/?p=fanfics/@view&name=coldangel₁&fic=blame-it-to-the-brain-part-2)