Внимание-внимание, есть еще 2 места для участия в нашем журнальном клубе в это воскресенье! Пишите нам на , мы очень ждем!
Ну, а пока — небольшое руководство по тому, как отличить «хорошую» науку от «плохой». Руководство подготовлено CompoundChem, а нами переведено и адаптировано для #горячихюныхкогнитивных. Итак, на что нужно в первую очередь обращать внимание при оценке качества исследований:
1. Остерегайтесь громких заголовков. В большинстве случаев громкие заголовки отражают упрощенный смысл результатов исследования и нередко ведут к их недопониманию.
2. Статьи в не-научных журналах нередко жертвуют адекватностью передачи информации ради красивой истории. Если Вас заинтересовало исследование в пересказе, обязательно обратитесь к исходной статье и убедитесь, что автор пересказа правильно расставил акценты.
3. Конфликт интересов. В психологических исследованиях такое встречается редко, но встречается. Например, в исследованиях «тренировки мозга», «программы развития когнитивных способностей» и прочих потенциально коммерчески интересных областях. Если исследователь или его наниматель был заинтересован в получении определенных результатов (например, доказательстве эффективности программы), это может повлиять на объективность проведения исследования. В научных журналах конфликт интересов обычно заявляется в конце статьи.
4. Установление причинно-следственных связей на основе найденной корреляции между переменными. Корреляция означает связь и ничего не говорит ни о том, является ли эта связь прямой, ни о механизмах этой связи. Correlation does not equal causation — казалось бы, вещь очевидная, но иногда исследователям бывает сложно остановить себя от принятия желаемого за действительное. Существуют способы и методы, позволяющие оценить причинность в корреляционном исследовании, но они требуют очень аккуратного использования и непросты в применении.
5. Предположения (читай «фантазирование») на основе результатов исследования допускается даже в научных статьях при условии, что автор ясно дает понять, что его рассуждения являются спекулятивными и не подкреплены данными. Маркеры спекуляций — «возможно», «мог бы», «можно предположить», «скорее всего» и пр. В англоязычных статьях — слова ряда «сould», «might». Это необходимая и полезная часть работы, но нельзя забывать, что это не выводы, а предположения, которые нужно проверять — часто они становятся гипотезами для следующих исследований.
6. Слишком маленький объем выборки. Тоже, с одной стороны, общее место для психологов-исследователей, а с другой — большая проблема качества психологических исследований. Даже если и были получены статистически значимые различия, то при малой выборке есть большая вероятность того, что это совпадение или результат непрофессионального подхода к сбору и анализу данных. Требования к выборке (количество, принципы формирования) должны быть максимально определены до начала сбора данных, поскольку это ключевые параметры, определяющие достоверность будущих статистических выводов.
7. Нерепрезентативность выборки. Большей части когнитивных исследований это не касается — предполагается, что закономерности одни на всех. Однако, если среди испытуемых заявлено 3−5 авторов, это уже ne comme il faut. Кроме того, некоторые исследования предъявляют требования к возрасту, социальному уровню испытуемых, знанию иностранного языка — в этом случае стоит обратить пристальное внимание на то, как была сформирована выборка и является ли она адекватной для задаваемых исследовательских задач.
8. Отсутствие контрольной группы — в психологии контрольные группы все-таки чаще всего присутствуют. Вопрос в том, что эти контрольные группы делают и что у них замеряют. Иногда манипуляция в контрольной группе отличается от манипуляции в экспериментальной группе не только исследуемым параметром (как должно быть), а целым букетом характеристик разной степени значимости. Иногда это дает зеленый свет альтернативным интерпретациям. Проверка на адекватность контроля — один из важнейших моментов при оценке качества исследования.
9. Слепой метод (испытуемые не должны знать, находятся они в контрольной или в экспериментальной группе). Опять же, для большей части психологических исследований нерелевантно, если только речь не идет о вышеупомянутых «программах повышения когнитивных способностей» и других исследованиях терапевтических, обучающих вмешательств.
10. «Подобранные» результаты. Если долго пытаться, что-нибудь обязательно получится. В случае с исследованиями — выводы должны быть основаны на всех результатах, а не на их части. К сожалению, в опубликованной литературе за этим проследить сложно, так как исследования с негативными результатами до публикации просто не доходят. Но если в выводах проигнорированы не подтвердившиеся гипотезы или неожиданные результаты — это плохой знак.
11. Нереплицируемость. Бич психологии. Если что-то удивительное найдено один раз и никем никогда не повторялось, есть подозрение, что находка была случайной. Например, кожно-оптическое восприятие звучит потрясающе, но, по причине отсутствия успешных репликационных исследований на протяжении многих лет, увы, теряет доверие.
Читайте внимательно и с удовольствием, вдохновляйтесь хорошей наукой!
Ваш, TCTS
