Почему редкая опасность меняет смысл результата теста
Представим условную проверку, которая правильно находит 99 из каждых 100 случаев события и ошибочно подаёт сигнал лишь у одного из 100 людей, у которых события нет. На первый взгляд это почти безупречный тест. Но смысл положительного результата зависит ещё и от того, насколько событие распространено среди проверяемых.
Допустим, событие встречается у одного человека из ста, а проверяют 10 000 человек. Оно действительно есть у 100 человек: тест подаст сигнал примерно у 99 из них. Но события нет у 9 900 человек, и у одного процента из них тест тоже сработает — это ещё примерно 99 сигналов. Итого положительных результатов около 198, но верных среди них — около 99.
Две разные вероятности
Здесь важно не смешивать два показателя. Первый — насколько часто тест верно определяет людей с событием. Второй — насколько вероятно, что событие действительно есть у человека с положительным результатом. В примере первый показатель составляет 99%, а второй — примерно половину. Это не противоречие: очень многочисленная группа без события производит много ложных сигналов даже при низкой частоте ошибки.
Так проявляется базовая частота — доля людей или случаев, у которых событие встречается изначально. Чем событие реже, тем сильнее она влияет на то, что означает результат конкретного теста.
Что стоит спросить у цифры «99%»
Слово «точность» может скрывать разные характеристики проверки. Поэтому полезно выяснить, как часто тест пропускает событие, как часто тревожится без него и насколько часто само событие встречается среди проверяемых. Без этих данных красивый процент не отвечает на главный практический вопрос: насколько весом именно этот положительный результат.
При редком событии тревога после теста может быть поводом для следующей проверки, а не доказательством опасности: значение сигнала определяется не только качеством теста, но и тем, что было вероятно до него.
