Как поиск сам производит «закономерность»
Представьте, что исследователь проверяет, связана ли привычка пить кофе с десятками показателей: качеством сна, настроением, памятью, частотой головной боли и так далее. Даже если кофе в действительности не влияет ни на один из них, некоторые показатели случайно окажутся выше у одной группы или будут меняться вместе с привычкой.
Причина не в том, что каждая отдельная проверка обязательно ошибочна. Просто при большом числе проверок растёт шанс, что хотя бы одна даст необычный результат. Если после этого выделить только удачное совпадение, оно будет выглядеть как ответ на исходный вопрос — хотя вопрос мог быть сформулирован уже после того, как находка стала заметна.
Почему случайный узор кажется убедительным
Человеческий мозг хорошо замечает связные истории. Когда две переменные меняются вместе, легко придумать правдоподобное объяснение: одна будто бы влияет на другую или обе зависят от общего фактора. Но совпадение само по себе не показывает ни причинность, ни даже устойчивую связь. В большом наборе данных можно найти красивую историю просто потому, что было много возможностей её подобрать.
Такой результат особенно обманчив, если сообщают только о найденной связи, не уточняя, сколько других вариантов проверяли. Читатель видит одно попадание, но не всю череду проверок, среди которых оно выделилось.
Как отличить находку от надёжного результата
Один способ снизить риск — заранее определить, какие связи будут проверяться и как оценивать результат. Другой — проверить найденный узор на новых данных, которые не участвовали в поиске. Если связь появляется только в первоначальной выборке, а при повторной проверке исчезает, вероятно, она подогналась под случайные особенности этих данных.
Поэтому важен не только вопрос «нашли ли связь?», но и «сколько вариантов искали и повторилась ли находка независимо?». Чем шире поиск, тем осторожнее следует относиться к самому эффектному совпадению.
