Метка: beginner

Зимняя Психологическая Школа СПбГУ 2016

Как известно многим #горячимюнымкогнитивным, чуть больше недели назад закончилась очередная Зимняя психологическая школа, она же #зпш_спбгу.

Что интересно, в этом году Школа взяла не совсем обычный для себя научный крен, так что интересующимся когнитивной наукой было где разгуляться. Например, по утрам одновременно шли программы по психофизиологии, когнитивной психологии и анализу данных. Кроме этих трехдневных курсов от преподавателей и аспирантов СПбГУ, в программе школы были лекции от нескольких московских экспертов TCTS, а среди участников было немало знакомых по нашим конкурсам лиц. В общем, ЗПШ в этом году была удивительно когнитивной, и это не может не радовать.

Ну и ещё о нашем участии в Школе. В последний её день состоялся мастер-класс о современных тенденциях и инструментах психологических исследований в исполнении межгалактического дуэта Ники Адамян и Ильи Захарова. На мастер-классе было мало воздуха, но много интересных обсуждений и идей, за которые авторы весьма благодарны участникам. Слайды выложены на SlideShare и в нашем блоге. Psychology is no Rocket Science. Or is it?

Best practices при создании протоколов экспериментов

На данный момент 90% исследований в когнитивной психологии проводятся при помощи компьютеров, на которых что-то предъявляется и через которые что-то записывается. Способы предъявления, материал и сами данные бывают самые разные, но в целом большая часть экспериментов заключается в том, что испытуемый выполняет данную ему задачу, а мы в это время регистрируем какие-то бихевиоральные или нейро- показатели. При этом гладкость, удобство и эффективность эксперимента часто зависят от того, насколько рационально был составлен протокол его проведения и все ли детали были учтены.

В этом посте мы попытались собрать стартовый пакет полезных советов относительно проведения экспериментов, по умолчанию подразумевая здоровых взрослых людей в качестве испытуемых, хотя большая часть рекомендаций распространяется и на другие группы. Важно: мы сознательно пока избегаем советов, напрямую относящихся к процессу создания программы на том или ином языке. Эти рекомендации можно воплотить практически в любой популярной среде для экспериментирования и они в целом подходят для широкого класса экспериментов (и для работ на конкурс MARVIN тоже;).

В целом, каждый протокол можно оценивать с трех сторон:

  • удобство и понятность для испытуемого
  • удобство и понятность для исследователя (в т.ч. для коллег и студентов)
  • адекватность и готовность к использованию регистрируемых данных

Несмотря на то, что на данный момент в сообществе нет конвенций о том, как именно должен выглядеть правильный эксперимент, достаточно использовать здравый смысл и немного терпения, чтобы создать протокол, который будет удобен для сбора и анализа данных и понятен тем, кто пытается его воспроизвести. Наши советы мы сгруппировали по основным блокам типового эксперимента.

Дисклеймер: поскольку условно когнитивные эксперименты по теме и условиям проведения бывают самые разные, мы надеемся на комментарии читателей и будем редактировать и дополнять этот пост

  • Инструкции
    • Инструкция должна быть полной и понятной, она обязательно должна присутствовать в письменном виде до начала эксперимента
    • Полезно напоминать инструкцию (например, какая кнопка что означает) в перерывах
    • Всегда полезно показать испытуемому задачу и дать ему освоиться с ней до начала регистрации данных. Это может быть сделано в формате тренировочной сессии, а в случае относительно несложных задач — в формате отсекания первых 20−30 проб от основной массы анализируемых данных. В последнем случае нужно позаботиться о том, чтобы отсекание этих проб не повлияло на контрбалансировку вашего эксперимента.
  • Стимулы
    • Здесь все целиком зависит от эксперимента, но как правило стимулы лучше генерировать и/или загружать в память презентационного компьютера до начала основного блока эксперимента
    • Если есть возможность создать стимулы внутри программы, а не хранить их отдельно, ей нужно пользоваться (тем самым обеспечивается воспроизводимость и контроль за рандомизацией)
  • Взаимодействие оборудования для предъявления стимулов с оборудованием для регистрации данных
    • До сбора данных нужно учесть все возможные временнЫе задержки и оттестировать синхронизацию оборудования (будь то клавиатура, кнопки, айтрекер, ЭЭГ и т. д.). Нет ничего хуже, чем собрать большой датасет и обнаружить, что его нельзя использовать из-за проблем взаимодействия оборудования.
    • Желательно предусмотреть онлайн-контроль за данными во время проведения эксперимента (например, выведение на экран экспериментатора ответа/времени реакции), и следить за работой оборудования и программы в течение всего эксперимента.
    • Это звучит глупо, но многие об этом забывают. Проследите, чтобы испытуемому было удобно выполнять вашу задачу. Кнопки должны спокойно нажиматься без проблем типа «долгое нажатие = двойное нажатие», фиксационная точка должна быть удобного размера, в течение пробы не должно быть странных смен цветов и морганий экрана, программа не должна закрываться от случайного нажатия на пробел,… Список можно продолжать бесконечно, но всех этих проблем разом можно избежать, если поставить себя на место испытуемого, пройти свой собственный эксперимент, отпилотировать его на коллегах и не полениться исправить все косяки.
  • Общая структура (блоки, пробы)
    • Рандомизация. Рандомизация должна быть умной. Во-первых, очень полезно научиться использовать random seed, чтобы иметь возможность воспроизвести любую псевдослучайно сгенерированную последовательность. Во-вторых, часто бывает необходимо избегать случайного повтора одного типа проб n раз подряд и прочих фокусов неконтролируемой рандомизации. В этом случае полезно сформулировать ограничивающий критерий и повторять рандомизацию до тех пор, пока этот критерий не будет удовлетворен.
    • Очень опасно оставлять испытуемого без регулярных перерывов. В лучшем случае он быстро устанет и начнет плохо выполнять задачу, в худшем — две трети эксперимента будет думать о том, когда же все это закончится, и опять же плохо выполнять задачу. Прерывание каждые 7−10 минут — это разумный ритм, обеспечивающий не только комфорт самого испытуемого, но и качество ваших данных.
    • Другие хитрости для сохранения внимания испытуемого в течение длинного эксперимента — звуковое подтверждение ответа, обратный отсчет блоков, обратная связь в перерывах (осторожно: обратная связь по корректности выполнения задания может вносить собственный вклад в данные).
    • Не секрет, что при выполнении экспериментов внимание испытуемых неравномерно, часто люди ловят себя на том, что вроде выполняют задачу, а вроде и думают о чем-то своем. В целом, вышеописанные хитрости минимизируют эти проблемы, но тем не менее бывает полезно дать возможность испытуемому признаться, что он отвлекся во время пробы, и не регистрировать такие данные, а саму пробу вернуть в пул. Также часто имеет смысл отменять и повторять неправильно выполненные пробы (например, когда прервалась фиксация, было зафиксировано моргание в критический период и т. д.)
  • Регистрация и сохранение данных
    • Имена файлов должны быть уникальны, для этого полезно в имя файла добавить точное время его создания
    • Файлы с результатами должны по возможности сохраняться несколько раз в течение эксперимента (в случае бихевиоральных данных — в конце каждой пробы), чтобы в случае прерывания эксперимента данные не были потеряны
    • Формат сохранения данных зависит от типа данных и ваших планов, но всегда полезно по возможности иметь копию данных в не-проприетарном формате.
    • Согласно Декларации Хельсинки, которая описывает правила проведения экспериментов на людях, данные должы храниться так, чтобы испытуемого нельзя было по ним идентифицировать. Соответственно, названия файлов должны быть зашифрованы, а документы, по которым можно сопоставить испытуемого и его личные данные, должны храниться на другом носителе. Подобные правила существуют и для «сложных» типов данных (пациенты, видео-, онлайн-), и очень важно ознакомиться с ними до проведения эксперимента, чтобы правильно его сконструировать.
    • Описательные данные об испытуемом (возраст, ведущая рука и т. д., но не имя) и метаданные удобно хранить в том же файле, что и сами данные эксперимента, чтобы минимизировать шансы потери или путаницы в информации.
    • Если ваш эксперимент предполагает некий рассказ о том, что все это было (например, когда вы работаете со студентами или добровольцами из числа интересующихся), удобно в конце эксперимента показать человеку любого рода график, описывающий его результаты (пусть даже это и не то, что вы изучаете, а просто % правильных ответов в двух условиях или картинка с какого-то этапа сбора данных). Чтобы испытуемые старались производить хорошие данные, нужно поддерживать их интерес к науке=).

Как вы видите, все эти рекомендации сводятся к тому, чтобы максимально автоматизировать все, что можно автоматизировать, при этом проявляя внимательность к деталям и к возможностям испытуемого. Чем больше (в разумных пределах) работы будет вложено в протокол, тем меньше вероятность критических проблем на следующих этапах исследования, о которых мы поговорим в другой раз.

Pic: Tanji & Evarts (1976)

Как не путать ошибки I и II рода

Ошибки первого и второго рода -- важные для понимания понятия, но запомнить, какой тип описывает ложноположительность, а какой -- ложноотрицательность, с первого раза удается далеко не всем.

Психолог Том Стаффорд (@tomstafford) опубликовал в своем блоге одну замечательную мнемонику:

«В притче про мальчика и волка есть ошибка и первого, и второго рода, именно в таком порядке. Сначала все верили, что волк есть, но на самом деле его не было. Потом они думали, что волка нет, но он был. Замени „волк“ на „эффект“ -- и ты разобрался».

Помимо этой мнемоники, есть пара хорошо запоминающихся картинок на ту же тему.

*источник утерян*

и *блистательный @ResearchMark*

Любая из этих историй или картинок поможет вам больше никогда не путать ошибки I и II рода.

О Reproducibility Project

или «Тот редкий момент, когда нужно защитить психологию»

TL;DR:

  • В рамках большого репликационного проекта в психологии не были подтверждены больше половины из 100 результатов
  • Наиболее высокими шансами на удачное воспроизведение обладают результаты с исходно большим размером эффекта (чаще встречающиеся в когнитивной психологии).
  • Причиной низкой воспроизводимости скорее всего является существующая система публикаций, придающая неадекватно большое значение статистической значимости и новизне результатов
  • В целом, репликационный проект показывает как серьезность методических проблем в психологии, так и направленность на их скорейшее решение

_fxRX4FQFO4

ОК #горячиеюныекогнитивные, с нескольким опозданием, но и мы в TCTS решили отреагировать на новости о результатах большого репликационного исследования, описанного на этой неделе в Science[1]. Наверное, уже все видели заголовки «Больше половины психологических результатов невоспроизводимы», «Объективность большинства психологических исследований поставлена под сомнение», «Результаты многих исследований по психологии и социологии не поддаются воспроизведению и могли быть подделаны» или «Ученые усомнились в научности психологических исследований» (все названия реальны). Если вы хотите поглубже разобраться в том, куда теперь бежать и в какую сторону закатывать глаза, вам будет интересно прочесть этот длинный пост.

ПРОБЛЕМА
Прежде всего давайте спокойно, без истерики, посмотрим на то, что произошло. В течение последних трех лет героический Брайан Нозек из Университета Вирджинии руководил командой из 270 человек, занявшейся прямой репликацией сотни опубликованных психологических экспериментов. Эта мега-репликация была вызвана все возрастающим пониманием того, что многие из исследовательских и публикационных практик, принятых в сообществе, ухудшают качество получаемых результатов. За последние несколько лет в психологии было вскрыто несколько больших проблемных тем (например, очень громкой оказалась история с непонятным социальным праймингом[2]), были раскрыты громкие случаи фальсификации данных (вспомним Дидрика Штапеля[3]), и продемонстрированы странные публикационные тенденции (90% опубликованных статей подтверждают исходную гипотезу[4], нереалистичная часть статистически значимых результатов еле-еле отвечает конвенциональному p-критерию[5] и т. д.) Кроме того, стало понятно, что для того, чтобы внести неразбериху в психологическую литературу, необязательно быть монстром-фальсификатором, достаточно слегка переиграть в экспериментальные игры[6]. Например, исследователь может добрать выборку «до значимости» уже в процессе исследования, пробовать разные методы фильтрации и обработки данных (без злого умысла, из чистого интереса!), повторять эксперимент с небольшими изменениями 10 раз и опубликовать только один, удачный, результат, и т. д. Эти проблемы, спасибо журналам, публикующим только положительные результаты, существуют во всех науках, но в случае с психологией и её и без того хрупкими эффектами масштаб трагедии казался ошеломляющим. Брайан Нозек решил все же попробовать её измерить.

ПОДХОД
Для начала авторы (270!) выбрали исследования для повторения. В список[7] попали работы, опубликованные в трех высокопрофильных психологических журналах в 2008 году: общем публикующем «громкие» результаты Psychological Science, социально-психологическом Journal of Personality and Social Psychology и когнитивно-психологическом Journal of Experimental Psychology: Learning, Memory, and Cognition. Команды-участники проекта могли сами выбирать из общего пула статьи, которые были близки их научным интересам и которые можно было технически реплицировать (понятно, что финансирование 30 лишних томографий или пары обезьян, а также доступ к клинической выборке обеспечить не так просто). Участники репликационного проекта активно общались с авторами оригинальных исследований, пытаясь максимально приблизить условия репликации к условиям первоначальных экспериментов. Кроме собственно «волшебной» цифры (какой процент результатов удастся подтвердить), авторов интересовал разброс успешности репликаций между субдисциплинами, а также факторы, влияющие на успешность репликаций (например, склонны ли к удачным воспроизведениям более опытные исследователи).

РЕЗУЛЬТАТЫ
Перейдем к результатам, на примере самого банального критерия успешности — p-значений. Следите за руками. Взяли 100 экспериментов. В 97 из них был заявлен положительный результат (из них 4 имели p > .05, но это в данном случае уже мелочи). Средняя мощность репликации по имеющимся у исследователей данным составляла 92%. Это означает, что если все оригинальные эффекты существуют и были правильно измерены (!), реплицировать получится 89 из них (0.97 * 0.92). На самом деле получилось реплицировать 35 (40%). Правда, здесь есть ловушка — та самая правильность исходного измерения. Если авторы оригинальных исследований переоценивали величину искомого эффекта, реальная мощность репликации была ниже, а значит и «волшебный процент» мог быть недооценен, то есть 40% это довольно консервативная оценка. Далее, внутри этих 40% авторы обнаружили существенный разброс между субдисциплинами (точнее, статьями из двух специализированных журналов: по социальной и личностной психологии vs когнитивной психологии). Если социальнопсихологические результаты подтверждались в 25% случаев (14 из 55), то когнитивнопсихологические — в 50% случаев (21 из 42).
Не менее грустную в целом, но более информативную картину показывает сравнение размеров эффекта в оригинале и репликации — в среднем, репликации достигают лишь половины оригинального размера эффекта. Предлагаемый авторами механизм здесь довольно прост и ожидаем — в публикации попадают «лучшие образцы» результатов, зачастую в сочетании с маломощным дизайном, тогда как репликации лишены этих искажений.

Помимо измерения реплицируемости, на основе всех полученных данных авторами были выделены предикторы успешности репликаций — неудивительно, но ими оказались большой размер эффекта и низкое p-значение в оригинальном исследовании. На примере p-значений — результаты с p < .001 достигали значимости при репликации в 63% случаях, а результаты с p > .04 — в 18%. К тому же, чем «удивительнее» был исходный эффект и чем сложнее было его реплицировать, тем ниже оказалась вероятность успеха (привет Psychological Science и в целом упору на новизну). Кроме того, редко реплицируются результаты тестов интеракций по сравнению с тестами собственных эффектов факторов. Зато в отношении реплицируемости не имеет предсказательной способности опытность авторов (как оригинала так и репликации), субъективная важность результата и даже субъективное качество репликации.

GO BAYES
Но что мы все о p-значениях. Интересный взгляд на те же результаты показывает байесовская статистика. Данный анализ не проводился авторами статьи в Science, но на выложенные в открытый доступ данные накинулись десятки любопытных исследователей, и некоторые из дополнительных выводов уже вовсю обсуждаются в блогах. Прелесть байесовского подхода к анализу репликаций в том, что он позволяет не только оценить успешность репликации в дихотомии «получилось/не получилось», но и рассмотреть результаты как свидетельство в пользу гипотезы о наличии либо гипотезы об отсутствии описанного в оригинальном исследовании результате. Таким образом можно определить, какие из репликаций показали весомое свидетельство наличия эффекта, какие — весомое свидетельство отсутствия эффекта, а какие оказались неинформативны. Выводы Алекса Этза[8] в рамках этого подхода оказались довольно интересны: около 30% результатов репликаций попадают в категорию «неинформативных», то есть, не соответствуют однозначно ни гипотезе о наличии, ни гипотезе об отсутствии эффекта. Еще раз — целая треть этих аккуратнейшим образом выполненных и проанализированных репликаций попали в «серую» зону между успехом и неуспехом. В свете такой оценки становится яснее, что репликация — это не приговор и даже не «проверка», а скорее дополнительная информация для составления информированного научного вывода.

КТО ВИНОВАТ
Таким образом, если корректно подходить к интерпретации основного результата, то все, что мы можем сказать — 35 из 97 исследований получили дополнительные доказательства в свою пользу. Остальные — не получили, и сложно сказать, почему. Возможно, потому что искомые эффекты очень слабые и репликациям не хватило мощности. Или потому что этих эффектов действительно не существует. Либо в одной из двух попыток (оригинале или репликации) что-то незаметно пошло не так. Либо это случай. Либо немного отличались выборки и материал (а репликации не всегда проводились в той же стране, что исходное исследование). Причин неудачи может быть масса, так что однозначно списывать со счетов конкретные невоспроизведенные исследования не стоит. Туда же относится вопрос «Можно ли официально считать когнитивную психологию круче социальной, если ее результаты чаще воспроизводятся?». Боюсь, что социальным психологам и без того досталось. Скорее всего, когнитивистам благодарить за воспроизводимость нужно не математически-естественнонаучную шапочку, а удобные внутригрупповые дизайны и в целом сильные эффекты, обладающие относительно небольшой вариабельностью внутри популяции, а социальным психологам в этом смысле можно посочувствовать.

ЧТО ДЕЛАТЬ
Вернемся к громким журнальным заголовкам. Если это огромное исследование не было призвано оправдать или осудить психологию как науку, и даже не показало, каким результатам можно верить, а каким нет, что оно дало? В первую очередь, это смелая и трудоемкая работа по описанию проблемы, с которой борется психология, это донесение как до публики, так и до самих исследователей важности перепроверки и укрепления ранних результатов. Возможно ли повысить цифру 40% до чего-то более приятного? Пожалуй, да. Более того, за счет распространения более аккуратных исследовательских практик она скорее всего возросла с 2008 года, когда были опубликованы рассматриваемые работы. В предыдущие десятилетия те же проблемы проходила, например, медицина и генетика. Клинические испытания в итоге приняли за норму обязательную перерегистрацию исследований для того, чтобы отделить планируемые результаты от менее жестких творческих находок ученых. Генетики перешли к командной работе и крупным коллаборациям. Психология тоже идет этим путем. Все больше журналов практикует пререгистрацию[9] и настаивает на свободном доступе к данным исследования, все больше внимания уделяется адекватности размера выборок и соответствии их размеру эффекта, и раз за разом международные команды объединяются в проекты ManyLabs[10] для проведения больших репликаций. Все больше «не-новых», даже отрицательных, результатов публикуется в PLoS One или выкладывается препринтами на bioRxiv. Ситуация год от года изменяется к лучшему. Что делать с результатами предыдущих эпох? Да ничего. Относиться критично и по возможности перепроверять. Не то чтобы эта рекомендация открывала глаза кому-то, кто хоть раз пробовал разобраться в научной литературе по любой проблеме.

В общем, хоть цифры и выглядят пессимистично, ничего особенно пугающего нам не открылось. Как это и должно быть, наука перепроверяет, критикует и оздоравливает себя, так что научность психологии (если кто-то за нее волновался) подтверждается самим фактом проведения подобного исследования. А теперь все выдохнули и повторяем за мной: «Science isn’t broken. It’s just fucking hard.»

1.http://www.sciencemag.org/content/349/6251/aac4716

2. http://www.nature.com/news/nobel-laureate-challenges-psychologists-to-clean-up-their-act-1.11 535

3. https://en.wikipedia.org/wiki/Diederik_Stapel

4. http://www.nature.com/news/replication-studies-bad-copy-1.10 634

5 .https://peerj.com/articles/1142.pdf

6. http://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1 002 106

7. https://osf.io/ezcuj/wiki/Replicated%20Studies/

8. http://alexanderetz.com/2015/08/30/the-bayesian-reproducibility-project/

9. http://www.theguardian.com/science/head-quarters/2014/may/20/psychology-registration-revolution

10. https://osf.io/89vqh/

Дополнительно:

Все материалы, касающиеся репликационного проекта, включая детальные отчеты о каждой репликации, данные, и код для анализа и визуализации: https://osf.io/ezcuj/

Отличный обзор в Atlantic с правильной, на наш взгляд, подачей проблемы: http://www.theatlantic.com/health/archive/2015/08/psychology-studies-reliability-reproducability-nosek/402 466/

Not so mighty after all

Идея «мощного бессознательного» не подтвердилась по результатам масштабного исследования принятия решений, проведенного в университете Гронингена (Нидерланды).

Вообще, под «мощным бессознательным» можно понимать разные вещи. Кто-то считает, что восприятие подпороговой информации (подпороговый прайминг) — это уже достаточно мощно. В данном случае речь идет о том, что если нужно учесть большое количество факторов, бессознательное «переваривание» информации может приводить к более успешным решениям, чем осознанное размышление. Эффекты такого рода демонстрируются, например, в работах Апа Дейкстерхёйса и коллег из университета Неймегена (http://www.unconsciouslab.com/). Однако критики утверждают, что подобные эффекты можно объяснить недостаточной строгостью проводимого статистического анализа, вмешательством дополнительных переменных, или отбором для публикации только положительных результатов. В свежей статье, опубликованной Нойвенштайном и коллегами в журнале Judgment and Decision Making (http://journal.sjdm.org/14/14 321/jdm14321.html), приводятся результаты самого крупного на сегодняшний день исследования по данной теме (выборка — 399 человек) и мета-анализа прошлых работ по этому эффекту.

Испытуемым предъявлялись по 12 качеств, относящихся к 4 машинам или 4 домам, после чего в одном условии испытуемым давалось три минуты на подумать, в другом давалось на подумать столько, сколько хочется, а в третьем на те же три минуты давалось отвлекающее задание. Каждый испытуемый один раз принимал решение в условии «подумать» (либо с ограничением времени, либо без) и один раз — с отвлекающим заданием. Результаты показали, что хотя между условиями была небольшая разница (в варианте «подумать» испытуемые сделали оптимальный выбор в 58% случаев, а при отвлекающем задании — в 62%), она оказалась статистически незначимой. Более того, мета-анализ — статистический анализ прошлых исследований, включавший и исследование самих авторов — также не показал превосходства принятия решений с отвлечением от задачи над принятием решений с размышлением над выбором. Другими словами, если эффект превосходства «бессознательного переваривания информации» и существует, он очень, очень слабый. И бессознательное в конечном итоге не такое мощное.

Мораль этой истории в том, что к неожиданным открытиям, особенно в области социальной психологии, стоит относится с большим подозрением. Более десяти лет прошло с публикации первых работ Дейкстерхёйса по этой теме, и убедительных доказательств его правоты до сих пор нет (если интересно, Nature опубликовало материал по теме с комментариями исследователей: http://www.nature.com/news/unconscious-thought-not-so-smart-after-all-1.16 801). Возможно, за следующие десять лет все же будет найдена критическая комбинация условий, при которой отсутствием размышлений над решением действительно помогает. Но это маловероятно — работа Нойвенштайна как раз отличается тем, что они постарались включить все те факторы, которые сторонниками идеи «мощного бессознательного» описываются как помогающие проявлению эффекта. Например, испытуемых просили при просмотре характеристик машин или домов не сосредотачиваться на деталях, а сформировать общее впечатление, предъявляли картинки конкретных домов или машин, включили в анализ гендер, и т. д. Это не значит, что мы не перерабатываем информацию бессознательно — в конце концов, любая сознательная активность по определению основывается на бессознательной (мысль не возникает из воздуха). Но мы пока еще мало созрели для того, чтобы понимать как работает мозг в простых задачах, что уж говорить о том, что происходит в более сложных случаях.

016

(картинка с http://slurmed.com/?p=fanfics/@view&name=coldangel1&fic=blame-it-to-the-brain-part-2)

Завтра отвечаем на все вопросы про конкурс!

Итак, предновогодний дедлайн наших конкурсов совсем близко. Это означает, что участники вот-вот выйдут на финальный этап подготовки своих работ, а именно, приступят к проверке и оформлению проектов.

Нет ничего печальнее для экспертов, чем хороший содержательно проект, автор которого невнимательно прочел правила конкурса и поэтому не выполнил перечисленные там требования, или хороший содержательно проект, автор которого писал заявку впопыхах и не успел ее даже перечитать. Конечно, для экспертов всегда приоритетно содержание, а не форма, но в большой жизни неправильно оформленная заявка не пройдет даже первый этап отбора и не ляжет на стол разбирающемуся в теме человеку, поэтому оформление и «полировка» текста -- важнейший этап подготовки работ для подачи в грантовые фонды или на конкурсы, на любом уровне.

В этом году TCTS предоставляет участникам конкурса уникальную возможность получить советы и рекомендации по оформлению своих проектов ДО их подачи. Завтра вечером, с 19.00 до полуночи по московскому времени нам (а именно, Нике) можно будет задать любые вопросы, показать свои черновики, посоветоваться по поводу любых вопросов, касающихся подготовки и отправки заявки. Неважно, на каком этапе находится работа и в какой она номинации -- предложение распространяется на всех.

Внимание: это не является обязательным условием и никак не повлияет на последующую судьбу вашей заявки. Более того, нет никакой гарантии, что мнение Ники во всем совпадет с мнением экспертов, которые будут работу оценивать. Однако, если Вы чувствуете, что вам не помешает пара лишних глаз, не стесняйтесь и выходите на связь -- конфиденциальность гарантирована.

Итак, завтра с 19.00 до полуночи -- живая связь по Skype (nika_adamyan) или в G+(). Также до 19.00 можно присылать свои вопросы на nika. .

На картинке -- Uncle Six Eyes, придуманный художником Трэвисом Луи. По слухам, от природы хороший редактор.

Пара слов о пропущенных значениях

Как бы мы ни собирали данные, нередко случается так, что некоторые значения пропущены. Особенно это характерно для различных опросных методик или исследований, растянутых на длительное время. В такие моменты перед аналитиком встает вопрос, по-гамлетовски фундаментальный — «резать или не резать». То есть, что делать с пропущенными значениями — если удалять, то как, если не удалять — каким образом замещать пропуски? Как, в конце концов, будет правильным поступить?
Само собой, сначала надо посмотреть, а насколько случайны пропуски в данных. Для этого могут подойти такие инструменты, как паттерны пропусков, частотный анализ и прочее. В конце концов, если в опросах вариант «не знаю» может интерпретироваться как отказ от коммуникации, то и пропуск может быть маркером каких-либо процессов.

В том случае, если пропуски действительно случайны, то самый простой вариант — это удаление наблюдений с пропущенными значениями. Удаление может быть как попарным (pairwise), так и построчным (listwise). Попарное удаление — когда, например, при корреляционном анализе не учитывается значение, парное пропущенному. Построчное удаление — когда из анализа исключается вся строка, в которой есть пропущенные значения (в случае корреляционного анализа по двум переменным идентично попарному удалению).

В тех ситуациях, когда хочется сохранить массив данных, и каким-то образом заполнить пропущенные значения (импутировать), то есть множество методов, разных по идеологии и по результатам. Простейшие из них:
Во-первых, можно заполнить пропущенные значения средним или медианным значением по столбцу. SPSS также предлагает среднее/медиану по N ближайших значений.
Во-вторых, можно пойти по методу «как у соседей» — объекты имеют одинаковые значения, если похожи по ряду прочих характеристик, отраженных в датасете. В конце концов, если у Пети и у Васи отличные оценки в течение года, и отличная оценка за годовую контрольную, то логично предположить, что и отличник-Коля получил отличную оценку за контрольную.
Третий вариант заполнения пропущенных — с использованием линейной регрессии. Пропущенные значения на первом этапе заполняются средними по переменной (метод Бартлетта) или случайным из диапазона значений переменной (метод ресемплинга), переменная с пропуском принимается как зависимая. Полученными предсказанными значениями и замещаются пропуски.
В SPSS ко всему прочему реализован еще один алгоритм — EM-алгоритм. Основная идея этого алгоритма — изменение с помощью регрессионных методов пропущенных значений и вычисление ковариационной матрицы на каждой итерации, до тех пор, пока изменения в матрице не будут минимальны.

Построчное удаление, на мой взгляд, наиболее корректный вариант решения пропущенных значений. Но временами такое ограничение оказывается чрезмерно строгим — так, мне доводилось работать с датасетом, в котором было 250 наблюдений и 40 переменных, однако наблюдений без пропусков — всего три. Естественно, никакой содержательный анализ на трех наблюдениях невозможен. Однако и импутация в данном случае — решение спорное.

Конечно, импутация пропущенных значений в определенных ситуациях жизненно необходима, однако стоит все же отдавать себе отчет в том, что при большом количестве пропусков (я бы сказал, более 5−10% наблюдений по переменной) анализ данных с импутированными пропусками становится похож на самоподдерживающийся фантазм. В конце концов, использование средних вместо пропусков грозит нивелировать различия между группами, а содержательно анализировать данные линейной регрессии, в которых часть пропусков была заполнена по результатам того же регрессионного анализа — просто бессмысленно.

Хотя, конечно же, самым эффективным решением будет <s>пить чай вместо</s> собирать изначально полные данные — тиранить испытуемых/респондентов, выверять процедуру и код программы сбора данных etc.

Филипп Управителев

TCTS AWARDS 2014.2

Дорогие друзья!

Мы долго шли к этому и сегодня с радостью объявляем второй заход наших основных конкурсов — NEISSER, KAHNEMAN и NERD, с дедлайном до 28 декабря. На этот раз мы почти не изменили правила конкурсов, но внесли одно важное дополнение — в конкурсах могут принимать участие студенты из трех городов: Москвы, Санкт-Петербурга и Ярославля — и пусть победит сильнейший:). Правда, в знак нашего особенного отношения к СПбГУ, мы предусмотрели возможность дополнительно наградить участников из Санкт-Петербурга. Как всегда, у нас компетентнейшие эксперты, настоящие и весьма ощутимые призы, и полезные для вашего научного развития задачи.

Условия конкурсов можно найти на главной странице нашего сайта — tcts.cogitoergo.ru, а вопросы задать, написав нам на 
Удачи!

P. S. Мы будем очень благодарны за распространение этого сообщения и передачу информации потенциально заинтересованным студентам

10 бесплатных программ, которые сделают вашу научную жизнь продуктивнее

Наука — это не только непрекращающийся fun, дорогие наши #горячиеюныекогнитивные, но еще и суровые трудобудни. При этом основной принцип настоящего ученого — больше полезной работы, меньше бесполезной (он же «лень — двигатель прогресса»). Следуя этому принципу, #thinkcognitiveсобрал для вас список из 10 наиболее полезных бесплатных программ, которые позволяют сделать трудобудни легче и работать с большим удовольствием. Разумеется, наш список неполный — какие программы вы используете, чтобы сделать свою жизнь проще?

1. Нет ничего страшнее, чем потерять текст курсовой накануне отправки научному руководителю. Или диплом. Чтобы этого не произошло, всегда храните важные файлы в облаке. Облако — это значит, что ваши файлы не просто лежат в интернете, они распределяются между различными серверами, причем с копиями, так что вероятность их потери становится практически нулевой. Copy (http://copy.com) и Dropbox (http://dropbox.com) — это программы, которые автоматически синхронизируют данные на вашем компьютере с данными в облаке. Copy дает вам больше места, чем Dropbox, и имеет приятную возможность восстановления предыдущих версий файлов. Пользуйтесь и не теряйте ничего.

2. Mendeley (http://mendeley.com) / Zotero (http://zotero.org) — две программы для хранения баз статей и создания списков литературы. Они полезны тем, что во-первых, вам становится гораздо легче найти что-то у себя в залежах литературы, а во-вторых вам больше не надо каждый раз оформлять список литературы вручную. Обе бесплатны, об их отличиях можно почитать тут: http://chetvericov.ru/faq-po-mendeley-i-zotero/.

3. Evernote (http://www.evernote.com) — программа для ведения заметок. Туда можно скидывать все, что вам может понадобиться, например, конспекты статей или фотографии накарябанных на салфетке гениальных идей. У нее есть веб-приложение, приложение для компьютеров, телефонов, так что ваши заметки будут доступны вам везде.

4. Notepad++ (http://notepad-plus-plus.org/) — маленькая замена блокноту. Большие плюсы — работает с разными кодировками, поддерживает подсветку синтаксиса многих программ, позволяет делать несложные операции с текстом, типа сцепления строк, в общем, 99% того, что может пригодиться при работе с текстовыми файлами.

5. Readability (https://www.readability.com/) — даже не приложение, а плагин для браузера. Он делает длинные страницы текста удобными для прочтения — увеличивает шрифт, делает нормальные цвета, в общем, убирает все лишнее.

6. Okular (http://okular.kde.org/) / PDF X-change Viewer (http://www.tracker-software.com/product/pdf-xchange-viewer) — две программы для просмотра PDF. Они обладают большими возможностями, чем стандартный Acrobat Reader, например, Okular умеет нормально копировать таблицы из PDF с сохранением форматирования, а PDF X-change Viewer обладает встроенным модулем распознавания текста (OCR). К сожалению, Okular изначально делался под Linux, поэтому, если вы захотите использовать его под Windows или Mac, вам придется скачать достаточно большой архив (см. тут:http://okular.kde.org/download.php).

7. Gimp (http://www.gimp.org/) — программа для редактирования изображений, бесплатный, хотя и менее удобный, аналог Adobe Photoshop. Если вам надо что-то нарисовать или отредактировать изображение, Gimp определенно лучше, чем Paint.

8. Если Gimp это аналог Photoshop, то Inkscape (http://www.inkscape.org/) — аналог Adobe Illustrator, то есть программа для редактирования векторной графике. С векторной графикой вы можете столкнуться в трех случаях: вам нужно сделать постер, вы хотите, чтобы ваши графики/иллюстрации прилично выглядели в напечатанной статье, вам нужно сделать много похожих стимулов разных цветов, форм, и т. п. Постеры в Word лучше не делать.

9. GoldenDict (http://goldendict.org/) — это словарь, точнее оболочка для словарей. Эта бесплатная программа может использовать словари самых разных форматов (в т.ч. Abbyy Lingvo), и достаточно удобна в использовании. В саму программу включен только один словарь, где найти остальные — читайте тут http://goldendict.org/dictionaries.php.

10. R + Rstudio + knitr — вы когда-нибудь анализировали данные? Потом копировали результаты анализа в текст, добавляли туда графики? Проверяли, чтобы все описание соответствовало стандартам, принятым на вашей кафедре, или журналом, куда вы посылаете текст? Если нет, то вам это еще предстоит. Если да, то вы наверняка делали ошибки. Например, выяснялось, что использованы не все данные, или где-то надо было исключить выбросы. И приходилось переделывать все заново. Связка R (http://cran.rstudio.com/), RStudio (http://www.rstudio.com/) и Knitr (http://yihui.name/knitr/) позволяет решить эту проблему. Вы пишете текст описания результатов анализа, вставляете в текст команды анализа с использованием R и получаете на выходе готовый текст со всеми нужными цифрами и правильным форматированием.