Что происходит внутри переобученной модели
Во время обучения модель подбирает свои внутренние параметры так, чтобы уменьшать ошибки на примерах, которые ей показывают. Но эта цель сама по себе не заставляет её искать простое и полезное правило. Если модель достаточно гибкая, она может подстроиться под каждую деталь тренировочного набора — включая случайные особенности и ошибки в данных.
Представим, что алгоритм учится отличать фотографии кошек от собак. Вместо формы ушей и морды он может связать метку «кошка» с фоном, который часто встречался на кошачьих снимках. На обучающих изображениях такая подсказка работает, но на новых фотографиях с другим фоном перестаёт помогать. Модель уловила совпадение, а не признак, который устойчиво связан с задачей.
Почему знакомые примеры вводят в заблуждение
Результат на тренировочных данных показывает, насколько хорошо модель усвоила именно этот набор. Чтобы оценить, справится ли она с незнакомыми случаями, её проверяют на отдельных данных, которые не использовались при настройке. Такое качество называют обобщением: способностью применять найденные закономерности за пределами учебных примеров.
Если ошибка на тренировочном наборе продолжает снижаться, а на проверочном растёт, это сигнал: модель всё точнее подгоняется под известные случаи, но хуже переносит выводы на новые. Чем меньше и однообразнее набор примеров, тем легче принять случайную деталь за правило.
Как ограничивают запоминание
Один подход — добавить больше разнообразных данных: тогда случайная подсказка реже совпадает с правильным ответом. Другой — ограничить сложность модели или штрафовать чрезмерно точную подгонку; это называют регуляризацией. Иногда полезно остановить обучение, когда качество на отдельной проверке перестаёт улучшаться.
Это не означает, что большая модель обязательно переобучится или что меньшая всегда лучше. Важен баланс: модель должна быть достаточно выразительной, чтобы уловить реальную структуру задачи, но не настолько податливой, чтобы превращать случайности учебного набора в свои «правила». Поэтому высокая точность на знакомых данных ещё не говорит, как модель поведёт себя при первой же смене условий.
