Психолог Том Стаффорд из университета Шеффилда (UK) написал прекрасный пост для своих студентов о том, что имеется в виду под «критическим анализом» исследований, который часто требуется от них на разных курсах.
«Критическое мышление» считается важным качеством ученого, за «критические замечания» ставят дополнительные баллы в письменных работах, типичные занятия по экспериментальной психологии во всем мире включают в себя «критический разбор» статей. Так как же правильно критиковать? Том разделил возможную критику на три категории в зависимости от ценности замечаний.
Мы сделали краткий и вольный пересказ классификации, но рекомендуем прочесть полный текст поста в блоге Тома.
Общая критика:
В эту категорию попадают такие популярные замечания как недостаточная экологическая валидность, ограниченный объем выборки, однородный состав выборки (да-да, мы помним, психология это наука о студентах-второкурсниках и лабораторных крысах). Дело в том, что всегда можно увеличить выборку, всегда можно ставить вопрос о генерализуемости эффектов, и редко когда лабораторные эксперименты приближаются по реалистичности заданий к обычным условиям протекания исследуемых процессов. Все или почти все исследования страдают похожими «проблемами», поэтому общая критика возможна всегда или почти всегда, и ценится меньше, чем конкретные замечания.
Прим.ред.: замечания вроде «вы использовали визуальные стимулы, а вдруг ваши испытуемые были аудиалами?», «а что если во всех ваших испытуемых вселился демон/они больны неизвестной науке болезнью?», «красный цвет вашей кофты мог вызвать у испытуемых агрессию» можно выделить в отдельную категорию. Маловероятных объяснений можно выдумать много и всегда, но пользы от них мало. Во-первых, все маловероятные гипотезы проверить невозможно, и этот процесс вряд ли подходит под определение научного познания. Во-вторых, для того, чтобы проверять подобные гипотезы, нужно для начала проверить их теоретическую базу, а это часто оказывается проблемой.
Конкретные замечания:
В эту категорию входят конкретные недостатки исследования. Общая критика может стать конкретным замечанием, если приложить ее к определенной проблеме в анализируемом исследовании. Например, «малый объем выборки» это общее замечание, но если вы описываете конкретный экспериментальный результат и основываясь на приведенных цифрах говорите, что исследованию не хватает статистической мощности, а значит сделать вывод о наличии или отсутствии эффекта исходя из данного объема выборки нельзя — это уже конкретное замечание. Формулирование конкретных замечаний требует понимания логики исследования, использованной операционализации, проведенных сравнений.
Конкретные замечания с предложениями и критическими рассуждениями:
Это значит, что вместе с обозначением конкретной проблемы исследования предлагается способ решения этой проблемы, а альтернативное объяснение результатов дополняется способом проверки этого объяснения. Фактически, такая критика обозначает ту информацию, которую из проведенного исследования получить удалось, и описывает необходимые дополнительные шаги для продвижения к истине.
В целом, совет заключается в том, чтобы не просто пытаться назвать как можно недостатков исследования, а оценивать их вес и вероятность, и исходя из этого делать конструктивные выводы о том, какой результат был достигнут в ходе исследования, и как можно исправить имеющиеся проблемы.
