Как незаметный выбор меняет результат
Представим, что исследователь проверяет, помогает ли новая методика запоминать слова. После сбора данных он видит, что результаты различаются у младших и старших участников, хотя изначально собирался оценить всех вместе. Затем исключает несколько необычных наблюдений и выбирает способ расчёта, при котором различие выглядит яснее. Каждый шаг по отдельности может казаться разумным — но вместе они превращают случайный рисунок в данных в убедительный на вид эффект.
Проблема в том, что статистический тест обычно отвечает на вопрос: «Насколько необычны такие данные, если заранее выбранный эффект отсутствует?» Если же решения о группах, исключениях и способе анализа принимаются уже после просмотра результатов, проверяется не один заранее заданный вариант, а множество возможных. Хотя автор может показать только самый выразительный, шанс случайно получить «значимый» результат становится выше.
Почему это не обязательно обман
Такой риск называют подгонкой анализа, или p-hacking. Он не требует сознательной фальсификации: на выбор влияют обычные ожидания, а гибкость анализа кажется полезной, пока не становится способом отсеять неудобные результаты. Особенно легко это происходит, когда данных много, а исследователь перебирает исходы, подгруппы или варианты расчёта.
Это не значит, что найденный эффект непременно ложен. Но его убедительность может быть преувеличена: статистическая значимость уже не учитывает все решения, принятые по дороге. Поэтому полезно заранее зафиксировать главный вопрос, показатели и план анализа, а дополнительные находки обозначать как разведочные — подсказки для следующего исследования, а не окончательное подтверждение.
Проверка вне исходного набора данных
Сильный способ отделить устойчивый эффект от удачной комбинации решений — проверить гипотезу на новых данных. Если результат повторяется, он меньше зависит от случайных особенностей первой выборки. Чем больше свободы оставлено после просмотра результатов, тем важнее независимая проверка.
