Как шум меняет решение алгоритма
Медицинский ИИ не «смотрит» на снимок так, как врач. Он преобразует изображение в набор чисел и ищет сочетания признаков, которые во время обучения часто встречались рядом с определённым диагнозом. Решение может зависеть не только от очевидной опухоли или изменения ткани, но и от множества слабых сигналов, незаметных по отдельности.
Поэтому небольшое математически подобранное изменение пикселей способно сдвинуть результат. Такой паттерн называют состязательным возмущением: он специально устроен так, чтобы заметно повлиять на вычисления модели, оставаясь почти невидимым человеку. Это не обязательно крупное пятно или явная подмена изображения — иногда меняются числовые значения многих пикселей на малую величину.
Почему возникает ошибка
Алгоритм может опираться на хрупкие закономерности: детали, которые помогают ему угадывать диагноз на знакомых примерах, но не являются надёжными медицинскими признаками. Если возмущение сдвигает именно такие детали, внутренний расчёт модели меняется. На выходе здоровое лёгкое может быть отмечено как поражённое, хотя врач не увидит на снимке соответствующего изменения.
Это не означает, что любой медицинский ИИ легко обмануть или что снимок становится непригодным для человека. Речь о слабом месте некоторых моделей: их вывод может быть чувствителен к изменениям, не имеющим клинического смысла.
Почему это важно в медицине
Цена ошибки здесь не ограничивается неверной меткой на экране. Подозрительный результат может привести к дополнительным обследованиям и тревоге, а пропущенное заболевание — задержать помощь. Поэтому медицинскую модель важно проверять не только на точность в обычных условиях, но и на устойчивость к небольшим изменениям изображения, а её выводы — оценивать вместе с клиническими данными и работой специалиста.
Пиксели могут быть почти незаметны глазу, но диагноз для алгоритма складывается из чисел — и иногда именно их малый сдвиг меняет весь ответ.
