Как фильтр меняет смысл сравнения
Представим, что исследуют связь между количеством тренировок и самочувствием. В выбранной группе чаще тренируются люди, которые и без того здоровее. Тогда тренировки могут выглядеть причиной хорошего самочувствия, хотя часть различия объясняется тем, кто попал в группу. Если сравнить людей с похожим исходным здоровьем, связь может ослабнуть или исчезнуть.
Так работает состав подгруппы: после фильтра в выборке меняется соотношение людей и обстоятельств. Средний результат и найденная связь зависят не только от изучаемого признака, но и от того, кого именно сравнивают. Иногда внутри разных групп связь даже направлена противоположно общей картине — это один из вариантов парадокса Симпсона.
Почему случайность кажется открытием
Проблема усиливается, когда исследователь перебирает множество фильтров: отдельно смотрит разные возрастные группы, периоды или условия, пока где-нибудь не обнаружится заметная закономерность. Даже если устойчивой связи нет, среди большого числа сравнений случайно найдётся такое, где данные выглядят убедительно. После этого легко забыть, что подгруппу выбрали уже после просмотра результатов.
Чтобы оценить находку, важно знать не только, что показал фильтр, но и почему его применили. Полезно сравнить результаты в исходной выборке и в подгруппах, проверить, сохраняется ли закономерность при учёте важных различий между людьми, а затем подтвердить её на новых данных. Иначе вывод может описывать не общий тренд, а случайный состав именно той группы, которую оставили под фильтром.
