Блог

Как не путать ошибки I и II рода

Ошибки первого и второго рода -- важные для понимания понятия, но запомнить, какой тип описывает ложноположительность, а какой -- ложноотрицательность, с первого раза удается далеко не всем.

Психолог Том Стаффорд (@tomstafford) опубликовал в своем блоге одну замечательную мнемонику:

«В притче про мальчика и волка есть ошибка и первого, и второго рода, именно в таком порядке. Сначала все верили, что волк есть, но на самом деле его не было. Потом они думали, что волка нет, но он был. Замени „волк“ на „эффект“ -- и ты разобрался».

Помимо этой мнемоники, есть пара хорошо запоминающихся картинок на ту же тему.

*источник утерян*

и *блистательный @ResearchMark*

Любая из этих историй или картинок поможет вам больше никогда не путать ошибки I и II рода.

О TCTS и обновленный топ постов

*первое правило TCTS — расскажи всем о TCTS*

Итак, прошла уже добрая половина семестра, и мы очень надеемся, что за это время среди студентов появились новые почитатели наук о мозге и познании. В качестве приветствия и в предвкушении скорого запуска наших обновленных конкурсов, мы решили напомнить всем #горячимюнымкогнитивным, кто мы и зачем к нам стоит присоединиться.

Think Cognitive Think Science — это отличный источник информации и ресурсов для тех, кто начинает погружение в когнитивную науку:

  • Мы рассказываем про то, как в XXI веке делают науку: какими навыками полезно овладеть, какие программы сделают вашу жизнь легче, как вообще люди умудряются сделать когнитивные исследования своей профессией.
  • Мы проводим конкурсы, участвуя в которых можно научиться необходимым современному когнитивисту навыкам и выиграть дополнительное финансирование для осуществления своих научных желаний.
  • Мы проводим школу для продвинутых #горячихюныхкогнитивных, на которой можно познакомиться с перспективными техниками сбора и анализа данных, и пообщаться с коллегами.
  • Мы публикуем информацию об образовательных программах, анонсируем профильные конференции, научные школы и семинары, рассказываем, как получить грант на поездку или участие в них.
  • Мы рассказываем о науке не для публики, а для коллег, а также рассказываем об околонаучных новостях и шутим профессиональные шутки.
  • Мы общаемся друг с другом на конференциях и школах или просто так. Знать коллег из других лабораторий и городов приятно и полезно.
  • Мы очень неформальны и всегда готовы помочь или посоветовать в вопросах, касающихся науки или академической карьеры. Да и в целом открыты для общения.

Помимо группы ВК, нас можно найти здесь: http://tcts.cogitoergo.ru и www.facebook.com/thinkcog/, или написать нам на почту: ">

***

За почти два года существования проекта на нашем сайте накопилось некоторое количество полезных материалов. Список меток и рубрик вы можете увидеть зайдя на страницу блога (http://tcts.cogitoergo.ru/ru/blog/). Там же, кстати, есть поиск, если вы вдруг хотите найти понравившийся вам пост, но не помните, где он был. А наиболее популярные материалы мы собрали в отдельный список (ссылки видны из блога):

Цикл о постерах:
Программы для создания постеров
Примеры плохих и хороших постеров
Библиотека полезных материалов по созданию научных постеров
Как сделать хороший постер
Контрольный список при подготовке научного постера

О статистике:
Обзор учебников по статистике и мат. методам анализа данных ,
Инструментарий аналитика: R
R: учебники
Инструментарий аналиика: SPSS
Инструментарий аналитика: софт
Голова Профессора Бамблдорфа

Идеальный t-test

Книги по data science

Где искать литературу и как на нее ссылаться:
Поиск полнотекстовых версий статей
Proxy СПбГУ
Поиск научной литературы
Оформление списка литературы с помощью Mendeley/Zotero
Отличительные признаки не очень хороших статей от CompoundChem
Список хищнических журналов 2015
Google Scholar Button

Tips and Tricks:
Правила описания данных и составления графиков в психологии
10 бесплатных программ, которые сделают вашу научную жизнь продуктивнее ,
Смотри таблица пять
Как написать хорошее эссе
Про стандарты и людей

Кейс по систематизации работы с информацией-1,2
Советы от Nature для тех, кто хочет изучать Python

Как получить максимум от поездки на конференцию

Разное:
Слайды Science™
Рабочая память: модели и подходы к изучению
Изучение сознания без оценок осознанности
Летние школы по когнитивной психологии 2015
O Reproducibility Project

Как понять, достаточно ли я умен или умна, чтобы заниматься исследованиями

«Остров» -- книга Василия Ключарева

Хорошим ученым зачастую свойственны занятия искусством — это научный факт*. Тем приятнее, когда наши старшие коллеги достигают заметных успехов не только в научной, но и в творческой деятельности.

Несколько недель назад в печати появилась книга Василия Ключарева, нейроученого и руководителя Департамента психологии ВШЭ. Как написал сам автор, «Остров — когнитивный детектив о странных событиях произошедших сотню лет назад с голландским врачом на небольшом острове в Балтийском море. О событиях, которые легко разгадает, пожалуй, только знаток когнитивных наук». Будучи неравнодушными к детективам и когнитивным наукам одновременно, мы попросили нашего штатного книгочея Филиппа рассказать о своих впечатлениях от прочтения.

Признаться, я с недоверием и некоторой подозрительностью отношусь к внезапным художественным опытам — обычно они, к сожалению, оказываются крайне косноязычными и плоскими. Тем радостнее для меня, утомленного не нарзаном, но графоманством, вперемешку с идеологией, было открытие прошлой недели.
«Остров» прекрасен, а Василий Ключарев — настоящий, без всякого на то сомнения, визионер. Любой, кто видел последнее творение Джармуша, поймет, что это значит. Разгадка истории заинтересует и порадует клиников аль перцептивщиков (и тут они, окаянные), мне же важным оказалось все остальное.
Каждая страница рождает смутное ощущение узнавания. Герметичная атмосфера острова, малочисленная и связанная осязаемой, но не проговариваемой тайной община заставляют ожидать двенадцать ножевых ранений и виды Югославии за окном. Прогулки по острову рискуют привести в убежище Мориса и услышать, в конце концов, фразу на старящейся латыни. Полные же глубокой чувственности короткие зарисовки характеров воскрешают в памяти эстетические штудии мрачного датчанина, а после истории добрых людей на язык просятся строчки одной монахини, прозванной Мексиканским фениксом, и вспоминается монастырь в горах, ставший центром церковных интриг. Роза алая, зорькою ясной…
К сожалению, «Остров» — очень небольшое произведение, и после прочтения осталась некоторое сожаление — неужели все, может, еще капельку, еще пару сотен страниц? Разве что в будущем, видимо.
Я нашел книгу в Google Play**, желающие бумажных вариантов могут, насколько я знаю, заглянуть в Библио-Глобус, Фаланстер или Лабиринт.

Мы искренне поздравляем Василия с выходом книги, и желаем непременно писать еще, а всем #горячимюнымкогнитивным советуем не забывать о своих ненаучных увлечениях.


*https://www.psychologytoday.com/files/attachments/1035/arts-foster-scientific-success.pdf

**https://play.google.com/store/books/details/%D0%92%D0%B0%D1%81%D0%B8%D0%BB%D0%B8%D0%B9_%D0%9A%D0%BB%D1%8E%D1%87%D0%B0%D1%80%D0%B5%D0%B2_%D0%9E%D1%81%D1%82%D1%80%D0%BE%D0%B2?id=thfbCgAAQBAJ&hl=ru

Автоматическая проверка правильности p-значений в статьях

Неделю назад в журнале Behavior Research Methods появилась интересная статья (http://link.springer.com/article/10.3758/s13428−015−0664−2/fulltext.html), в которой авторы описывают новый пакет для R, позволяющий автоматически проверять правильность расчета p-значений.

По сути все очень просто — программа анализирует текст статьи (который при необходимости переводится из PDF или html в txt), и выделяет из него с помощью регулярных выражений () текст, соответствующий стандартному APA-описанию статистики. Например, для t-теста ищется паттерн наподобие t (DF) = X, p = Y (с учетом возможного появления пробелов, знака < после p и разных форматов чисел). После чего для указанных DF и X пересчитывается Y и сравнивается с указанным в статье.

Сравнение с результатами проверки вручную показали, что пакет неплохо справляется, хотя ожидаемо пропускает тесты в таблицах, иногда не справляется с односторонними тестами, не понимает неформатные записи, и не всегда ловит поправки на множественные сравнения. Тем не менее, порядка 70% результатов корректно вылавливаются и общий процент рассогласований между подсчитанным p и p, описанным в статье, составляет 4.3% при ручном подсчете и 5.8% при автоматическом. То есть в общем и целом если уж выловил, то проверит скорее правильно.

С помощью этого пакета товарищи проверили 30 717 статей, из них p-значения встречались в 16 695 статьях. Анализировались два типа расхождений — незначительные (p > .05 или < .05 и таковым и остается при пересчете) и грубые (p < .05, но становится незначимым при пересчете, или наоборот).

Основные результаты анализа таковы. Хотя бы одна грубая ошибка при расчете p встречается в 13% статей, а на одну статью в среднем приходится 1.6% грубых ошибок. При этом важный позитивный момент — доля грубых ошибок с годами снижается. Причем как показывает рисунок ниже снижается она в основном за счет уменьшения доли грубых ошибок среди значимых результатов, то есть уменьшается число ошибочно значимых находок. Интересно также, что особых различий между журналами в различных областях нет, так что нельзя сказать, что социальные психологи чаще клинических или общих делают ошибки в подсчетах.

Было бы любопытно доработать этот пакет до автоматической проверки соответствия описания результатов стандартам. Тогда он мог бы стать таким базовым фильтром при публикации статей и помог бы еще больше улучшить качество публикаций. Ну и хорошо бы, чтобы его начали использовать в России и не только для статей, но и, например, для выпускных работ.

Рисунок 7 из Nuijten et al. (2015)
Рисунок 7 из Nuijten et al. (2015). Изменение доли грубых ошибок по годам среди значимых (верхняя линия) и незначимых (нижняя линия) результатов.

International Society for Intelligence Research — конференция и летняя школа

Конференция International Society for Intelligence Research пройдет в Санкт-Петербурге летом 2016 года.

Конференция обещает быть удобного небольшого размера, с привлечением специалистов в области исследования интеллекта из самых разных областей. Студентам участие обойдется в $ 120. Что еще интереснее, непосредственно перед конференцией пройдет летняя школа «Interdisciplinary Approaches to the Study of Intelligence» для студентов и молодых ученых. Участие бесплатное, но мест всего 50, только для участников конференции, прошедших отбор и зарегистрировавшихся.

Ключевые даты:
Подача тезисов: 1 марта — 2 апреля 2016
Оглашение результатов отбора: 30 апреля 2016
Регистрация на конференцию: до 15 мая 2016
Подача заявки на участие в Летней школе (после регистрации!): 30 апреля — 16 мая 2016
Оглашение результатов отбора на школу: 20 мая 2016

Подробности на сайте конференции: http://www.isironline.org/2016-st-petersburg-russia-july-15−17/
Если вам интересно стать волонтером и помочь в организации конференции — пишите Илье Захарову.

Мэттью Ботвиник будет работать в Google DeepMind

Мэттью Ботвиник, один из ключевых авторов теории когнитивного мониторинга конфликта, будет работать в Google DeepMind (https://twitter.com/p1sh/status/657 632 506 850 725 888). Очень круто, когда такого уровня исследователи начинают работать в индустрии, хотя возможно правильнее было бы назвать DeepMind частным исследовательским центром. Надеемся, что в силиконовой долине Ботвинику будет хорошо и предлагаем почитать некоторые из его публикаций:

Botvinick, M., & Braver, T. (2015). Motivation and cognitive control: from behavior to neural mechanisms. Annual Review of Psychology, 66, 83−113. pdf

Shenhav A., Botvinick M.M., & Cohen J.D. (2013). The expected value of control: an integrative theory of anterior cingulate cortex function. Neuron. pdf

Brunton, B., Botvinick, M. & Brody, C. (2013). Rats and humans can optimally accumulate evidence for decision-making. Science, 340, 95−98. pdf

Botvinick, M. (2012). Hierarchical reinforcement learning and decision making. Current Opinion in Neurobiology, 22, 956−962. pdf

Botvinick, M. & Toussaint, M. (2012). Planning as inference. Trends in Cognitive Sciences, 10, 485−588. pdf

Kool, W., McGuire, J. T., Rosen, Z., & Botvinick, M. M. (2010). Decision making and the avoidance of cognitive demand. Journal of Experimental Psychology: General, 139, 665−682. pdf

Botvinick, M. (2007). Conflict monitoring and decision making: Reconciling two perspectives on anterior cingulate function. Cognitive, Affective and Behavioral Neuroscience, 7, 356−366. pdf

Botvinick, M., Cohen, J. D. & Carter, C. S. (2004). Conflict monitoring and anterior cingulate cortex: An update. Trends in Cognitive Sciences. 8, 539−546. pdf

Botvinick, M., Braver, T., Barch, D. Carter, C. & Cohen, J. (2001). Conflict monitoring and cognitive control. Psychological Review, 108 (3), 624−652. pdf

Carter, C. S., Braver, T. S., Barch, D. M., Botvinick, M. M., Noll, D., & Cohen, J. D. (1998) Anterior cingulate cortex, error detection, and the online monitoring of performance. Science, 280, 747−749. pdf

Botvinick, M. & Cohen, J. D. (1998). Rubber hand ‘feels' what eyes see. Nature, 391, 756. pdf

matthew-botvinick

Новый журнал по когнитивной психологии

Организация Psychonomic Society,

которой принадлежат такие журналы как «Attention, Perception & Psychophysics», «Learning & Behaviour», «Mind & Cognition», объявила об открытии нового журнала открытого доступа с довольно специфической тематикой -- «use-inspired basic research», то есть, теоретические, лабораторные исследования, поводом для которых послужили закономерности, обнаруженные в естественной среде. Например, некоторые современные гипотезы о механизмах зрительного поиска основаны на наблюдениях за работой рентгенологов или работников служб безопасности в аэропортах, а исследования изменчивости памяти вдохновлены юридической практикой сбора свидетельских показаний. Работы, в которых в лабораторных условиях исследуются подобные задачи из реального мира, и будут фокусом нового журнала.
Подробнее о журнале можно прочесть в обращении его редактора Джереми Вольфа (http://www.psychonomic.org/featured-content-detail/join-us-in-pasteur-s-quadrant-as-psychonomics-laun).
Помимо интересной тематической направленности, несомненным преимуществом журнала является открытый доступ. Более того, все статьи, присланные в журнал до 31 декабря 2016, будут опубликованы не только открыто, но и бесплатно.

Иллюстрация courtesy of Shit My Reviewers Say

Изучение сознания без оценок осознанности

Одна из основных проблем в изучении (о)сознания в когнитивных науках заключается в том, что как ни крути, а чтобы проверить наличие сознания необходимо каким-то образом получить об этом отчет от испытуемого. В каком бы виде этот отчет не происходил — через вербальный ответ, через нажатие на кнопку, через подергивание правого мизинца, как угодно.

Даже когда исследователи говорят, что научились проверять наличие сознания у находящихся в коме пациентов (http://www.nature.com/news/neuroscience-the-mind-reader-1.10 816), по сути речь идет о новом виде отчета через представление (воображение) специфического вида активности, которую можно более-менее надежно опознать по реакции мозга при определенной тренировке пациента. Однако само то, что мы знаем, что такая реакция мозга связана с представлением определенной активности завязано на предыдущие исследования, в которых нормальные люди давали отчет о том, что представляют эту самую активность. Грубо говоря, о том, что реакция мозга, А связана с субъективным опытом Б мы знаем из того, что до этого взрослый человек, в отношении которого нет причин сомневаться в наличии сознания, сообщил нам о наличии опыта Б примерно тогда же, когда регистрировалась реакция А. Обратный вывод — о наличии опыта Б по реакции, А — требуется огромного множества дополнительных допущений. Поэтому, например, заявления о наличии сознания у животных (https://en.wikipedia.org/wiki/Animal_consciousness#Cambridge_Declaration_on_Consciousness) поддерживаются далеко не всеми (http://plato.stanford.edu/entries/consciousness-animal/).

После этой длинной прелюдии можно перейти к тому, что послужило поводом для сегодняшнего поста. В Nature Neuroscience опубликована интересная статья «Negligible fronto-parietal BOLD activity accompanying unreportable switches in bistable perception» за авторством Jan Brascamp, Randolph Blake и Tomas Knapen (http://www.nature.com/neuro/journal/vaop/ncurrent/full/nn.4130.html, PDF можно найти через известный всем сервис, ну или написать в комментах, если не найдете). Авторы придумали интересный способ изучить изменение осознанного опыта, которое не замечается самими испытуемыми. Для этого они использовали феномен, который называется «бинокулярная конкуренция» (https://en.wikipedia.org/wiki/Binocular_rivalry). Сущность его заключается в том, что если на два глаза вам подается несогласованная информация (например, два разных лица или горизонтальные и вертикальные линии), то при определенном наборе условий вы будете в каждый момент времени воспринимать только информацию поступающую на один глаз, причем периодически переключаясь между левым и правым глазом.

Исследования этого феномена обычно проводятся с применением специального устройства, зеркального стереоскопа, но вы можете попробовать ощутить на себе эффект бинокулярной конкуренции с помощью этой картинки.

Примеры стимулов для бинокулярной конкуренции с http://www.scholarpedia.org/article/Binocular_rivalry

Попробуйте расфокусировать взгляд, чтобы два изображения (левое и правое в любом ряду) совпали друг с другом. Вы увидите, что вместо двух изображений одновременно, вы воспринимаете их по очереди. Браскамп и коллеги использовали похожие стимулы, только в их случае это были движущиеся наборы случайных точек. Они показали, что если давать два набора точек разных цветов (на левый глаз — красные точки, на правый синие, или наоборот), то испытуемые легко замечают переключение воспринимаемого изображения. So far, so good. Кроме того раз в несколько секунд испытуемым показывают уже не случайный, а упорядоченный поток точек, движущихся для двух глаз в противоположные стороны, и просят сказать, куда, собственно, движутся точки. Все это делается на протяжении нескольких экспериментов, причем в ключевом эксперименте также записывается активность мозга с помощью фМРТ.

Рисунок 1 из статьи Браскампа и коллег

Итак, в чем фишка? Фишка в том, что-то, как частота переключения восприятия между левым и правым глазом довольно устойчивая индивидуальная характеристика. Более того, если проанализировать данные по частоте изменения цвета (в условии, где разные цвета), и частоту изменения восприятия направления движения пульсов (в условии с одинаковыми цветами), то получается, что математическая модель, описывающая эти два условия будет обладать примерно одними и теми же индивидуальными параметрами для каждого испытуемого. А это значит, что в условии с одним и тем же цветом точек переключение воспринимаемого потока информации у испытуемых происходит примерно с той же частотой, что и в условии с двумя цветами. То есть сознательный опыт испытуемых меняется в промежутках между пульсами, хотя они этого не осознают. А это очень круто, потому что это дает возможность отделить собственно осознание как непосредственный субъективный опыт от внимания, которое привлекают изменения, или «метаосознанности», то есть осознание осознания.

Ну, а затем уже можно попытаться разделить их мозговые корреляты, как сделали Браскамп и коллеги, показав, что непосредственно к осознанию фронто-париетальные области, часто связываемые с принятием решений и «исполнительным» контролем, вроде бы отношения не имеют. Но это уже на сладкое, главное же, на мой вкус, то, что у вас появляется возможность отделить субъективный отчет и осознанность. Изучению сознания у животных это вряд ли поможет, а вот более полному понимаю того, что такое осознание — точно.

На закуску (подходит время ланча, и кулинарные метафоры встречаются все чаще), вот вам виде к статье, в котором кратко показана процедура и основные результаты. Инджой!

Джерому Брунеру исполняется 100 лет

Сегодня исполняется 100 лет одному из основателей когнитивной психологии Джерому Брунеру.

Брунер -- человек, который не только застал, но и принял непосредственное участие в том, как изменилась психология за вторую половину 20 века. Cвою исследовательскую деятельность Брунер начал в области психологии восприятия. На интерес к восприятию и вообще к процессам конструирования мозгом реальности повлияло то, что он родился слепым, и смог видеть только после операции, которую перенес в возрасте трех лет. Работая с восприятием, Брунер наблюдал, как опыт и известные закономерности окружающего мира влияют на наше поведение, и в итоге фокус его исследований сместился в область психологии развития и психологии обучения.

Несмотря на почтенный возраст, профессор Брунер дает прекрасные лекции и интервью, а еще он до сих пор является единственным профессором Оксфорда, который, получив приглашение работать в этом университете, пересек Атлантический океан на паруснике.

С Днем рождения, профессор!

По материалу APA: www.apa.org/monitor/2015/05/centenarian-bruner.aspx

Jane: оценка названий журналов и авторов

Случалось ли вам задумываться над тем, в какой журнал отправить статью? Интересоваться ключевыми авторами в какой-либо теме? Оказывается, помимо анализа обзорных статей и Google Scholar’а для этого можно воспользоваться интересным инструментом от голландских исследователей биосемантики — Journal/Author Name Estimator, или просто Jane.
Jane использует в качестве входной информации абстракт, название статьи или просто ключевые слова, сравнивает их с текстами Medline и возвращает список наиболее похожих статей, авторов, или журналов. Подробнее алгоритм описан здесь: goo.gl/9THDvi. В качестве бонуса Jane умеет маркировать журналы с открытым доступом и сравнивать журналы по вероятности цитирования.

Ссылка на Jane: http://www.biosemantics.org/jane/index.php