TCTS в Telegram

Нам периодически попадаются потенциально интересные ссылки, про которые писать подробно либо нет времени, либо нет смысла. Чтобы иметь возможность делиться ими с вами, мы завели группу в Телеграме. Предупреждаем сразу — помимо ссылок там много флуда и контент интересен только тем, кто занимается когнитивной наукой. Там также могут встретиться не слишком цензурные выражения, неприкрытый скепсис в отношении поп-психологии и циничное отношение к авторитетам.

Если все это вас не отпугнуло, мы будем рады вас видеть, подписывайтесь тут: https://telegram.me/joinchat/At45Sz4c7nwlidbLKvAw1w Для остальных мы будем периодически выкладывать интересные ссылки оттуда. Первая порция — в посте на сайте. На этот раз их очень много, это все за вторую половину февраля. Потом постараемся постить более маленькими порциями.

Читать далее TCTS в Telegram


Автоматическая проверка правильности p-значений в статьях

Неделю назад в журнале Behavior Research Methods появилась интересная статья (http://link.springer.com/article/10.3758/s13428−015−0664−2/fulltext.html), в которой авторы описывают новый пакет для R, позволяющий автоматически проверять правильность расчета p-значений.

По сути все очень просто — программа анализирует текст статьи (который при необходимости переводится из PDF или html в txt), и выделяет из него с помощью регулярных выражений (http://bit.ly/1KK2GFF) текст, соответствующий стандартному APA-описанию статистики. Например, для t-теста ищется паттерн наподобие t (DF) = X, p = Y (с учетом возможного появления пробелов, знака < после p и разных форматов чисел). После чего для указанных DF и X пересчитывается Y и сравнивается с указанным в статье.

Сравнение с результатами проверки вручную показали, что пакет неплохо справляется, хотя ожидаемо пропускает тесты в таблицах, иногда не справляется с односторонними тестами, не понимает неформатные записи, и не всегда ловит поправки на множественные сравнения. Тем не менее, порядка 70% результатов корректно вылавливаются и общий процент рассогласований между подсчитанным p и p, описанным в статье, составляет 4.3% при ручном подсчете и 5.8% при автоматическом. То есть в общем и целом если уж выловил, то проверит скорее правильно.

С помощью этого пакета товарищи проверили 30 717 статей, из них p-значения встречались в 16 695 статьях. Анализировались два типа расхождений — незначительные (p > .05 или < .05 и таковым и остается при пересчете) и грубые (p < .05, но становится незначимым при пересчете, или наоборот).

Основные результаты анализа таковы. Хотя бы одна грубая ошибка при расчете p встречается в 13% статей, а на одну статью в среднем приходится 1.6% грубых ошибок. При этом важный позитивный момент — доля грубых ошибок с годами снижается. Причем как показывает рисунок ниже снижается она в основном за счет уменьшения доли грубых ошибок среди значимых результатов, то есть уменьшается число ошибочно значимых находок. Интересно также, что особых различий между журналами в различных областях нет, так что нельзя сказать, что социальные психологи чаще клинических или общих делают ошибки в подсчетах.

Было бы любопытно доработать этот пакет до автоматической проверки соответствия описания результатов стандартам. Тогда он мог бы стать таким базовым фильтром при публикации статей и помог бы еще больше улучшить качество публикаций. Ну и хорошо бы, чтобы его начали использовать в России и не только для статей, но и, например, для выпускных работ.

Рисунок 7 из Nuijten et al. (2015)
Рисунок 7 из Nuijten et al. (2015). Изменение доли грубых ошибок по годам среди значимых (верхняя линия) и незначимых (нижняя линия) результатов.


Про стандарты и людей

Внимательные читатели замечают, что периодически мы ругаемся на то, что статистика оформлена не по APA, прописываем требования к размеру шрифта и межстрочным интервал в условиях конкурсов, объясняем, как правильно оформлять библиографию по правилам той же APA и, в общем, всячески боремся с креативностью в оформлении научных текстов.

И все равно, раз за разом мы сталкиваемся с тем, что как совсем юные, так уже и не очень юные, но все еще горячие, когнитивисты употребляют, не стесняясь, что-нибудь типа p < 0.07 или соединяют в списке литературы стопицот вариантов оформления библиографических ссылок. В этом занудно-назидательном посте мы попробуем разобраться, зачем нужны стандарты и в чем причина раздражения, которое вызывает нарушение стандартов у некоторых людей.

Сначала поговорим о стандартах оформления рукописей. На всякий случай, рукопись — это не то, что написано от руки, это все, что вот вы сами напечатали до того, как это что-то попало в издательство, где было издано в виде книги, газеты или журнальной статьи. Исторически, одна из основных задач введения стандарта для рукописей — сделать их удобными для редактирования. В докомпьютерную эпоху основным инструментом редактирования рукописей была ручка, в крайнем случае — ножницы. Из-за этого одно из основных требований многих стандартов — большие поля и и межстрочные интервалы. Чтобы можно было делать вот так:

Страница рукописи Дж. Оруэлла с правками
Страница рукописи «1984» Дж. Оруэлла
Понятно, что сейчас такого рода требования уже не очень актуальны, поскольку редактурой бумажных текстов почти никто не занимается. Кроме этого есть задача сделать текст более удобным для работы с ним в типографии. Из-за этого некоторые стили, например APA, требуют ставить изображения и таблицы в конец текста на отдельные страницы. Это тоже не очень актуально в современном мире, и даже многие журналы, которые основываются на требованиях APA, закрывают глаза на нарушение этого правила.

Однако у стандартов есть еще одна задача — сделать текст более удобным для чтения. Для этого структуру текста стараются сделать более однообразной и четко разделять смысловые блоки. Расстояние между абзацами должно быть больше расстояния между строками не потому, что так захотелось какому-то полутрезвому разработчику ГОСТа, а потому, что абзацы являются отдельными кусками смысла, а строки — нет. По этой же причине в тексте употребляются заголовки. Заголовки кроме того поясняют, о чем идет речь в следующем за ними куске текста, а чтобы их было проще найти, и чтобы они не путались с остальным текстом, они имеют не такое оформление как остальной текст. Традиционно заголовки выделяются жЫрными буквами или полужЫрными буквами. Поэтому когда вы в тексте понравившееся вам слово выделяете жирным шрифтом, человек, привыкший к чтения рукописей инстинктивно пытается понять, почему среди строки у вас заголовок.

Вообще это одна из основных проблем нарушения стандартов: вы делаете чтение текста более трудным. Бывают редкие исключения, когда небольшие отклонения, наоборот, помогают. Например, требование APA оформлять подписи к таблицам и изображениям в том же стиле, что и основной текст, нормально, но только если у вас таблицы и изображения идут на отдельных страницах. Если же они идут в теле текста, то их лучше все же оформлять иначе, чтобы их было легко отличить от текста. Но в основном стандарты достаточно хорошо продуманы, и делают текст максимально читабельным. Более того, стандарты привычны для людей, работающих с научными текстами. Поэтому их нарушение заставляет прилагать чуть больше усилий для чтения. Как и все люди, ученые не любят тратить свои ресурсы. Поэтому даже если ваш текст на 1% труднее читать, чем остальные, это вызывает негативные эмоции. А вы не хотите, чтобы у читателя возникали негативные эмоции. Как показывают исследования, авторов более сложных для прочтения текстов при прочих равных считают менее умными (http://www.ucd.ie/artspgs/semantics/ConsequencesErudite.pdf).

Примерно то же касается оформления статистики. Тут много маленьких деталей. Например, пробелы. Все ставят пробел после точки, но про пробелы в описании статистики часто забывают. При этом читать запись типа F(2,28)=3.256 труднее и менее привычно, чем F(2, 28) = 3.256. Создатели стандартов APA постарались сделать так, чтобы описание результатов статистики было максимально читаемым и максимально компактным. Поэтому, например, для величин. которые не могут быть больше нуля, в том числе для p-значений, ноль опускается. Но в оформлении статистики есть еще один нюанс — описание результатов должно позволять прикинуть адекватность ваших подсчетов и при необходимости использовать ваши данные для мета-анализа. Поэтому принято указывать степени свободы, и поэтому p значения не округляются, если они не меньше 0.001, а указываются с точностью до третьего знака.

Теперь еще один момент, касающийся негативных эмоций. Многим из тех, кто привык пользоваться стандартами в своей работе, соблюдение этих стандартов кажется очень простой вещью. Во многом это связано с тем, что в эпоху интернета и текстовых процессоров (да, я говорю о MS Word), оформить текст правильно достаточно легко. Скачайте себе шаблон APA (http://bfy.tw/1fc0) и научитесь пользоваться стилями в Word. Установите Mendeley или Zotero (http://tcts.cogitoergo.ru/ru/blog/oformlenie-spiska-literatury-s-pomoshh-yu-mendeley-zotero/) и научитесь ими пользоваться, это поможет забыть об оформлении литературы вручную. К сожалению, программы, которая бы умела за вас правильно оформлять статистику пока нет (если вы используете Rmarkdown, можете попробовать github.com/ralfer/apa_format_and_misc), но никто не мешает вам распечатать себе табличку с правилами оформления статистики, заламинировать, и прибить гвоздем рядом с монитором. Ну или запомнить, да, тоже можно. Слава богу, сейчас не 87ой год, когда вам бы пришлось все делать вручную. Поэтому неумение оформить текст или описать результаты в 2015 году показывает неумение пользоваться самыми базовыми вещами, наподобие того же Word. Помноженное на затрудненное восприятие текста это рождает в читателе не самое приятное впечатление об авторе.

Занудно-назидательный пост закончен.


«The Meaning of „Significance“ for Different Types of Research»

В Acta Psychologica опубликован перевод на английский статьи классика голландской психологии Адриана де Гроота «The Meaning of „Significance“ for Different Types of Research».

Несмотря на то, что статья была написана в 1956 году, к 2014 она стала лишь актуальнее — в ней рассматривается острый для современной психологии вопрос различия «эксплораторного» и «конфирматорного» типов исследования и соответствующих аналитических практик.

Текст, несмотря на тему, читается очень легко, а в комментариях переводчики анализируют идеи автора в современном контексте.

#TCTS весьма рекомендует к прочтению!

Препринт статьи в открытом доступе: http://www.ejwagenmakers.com/inpress/DeGroot1956_TA.pdf

pic: http://pps.sagepub.com/content/7/6/632/F1.large.jpg

Original: http://pps.sagepub.com/content/7/6/632/F1.large.jpg