Как копия начинает копировать собственные ошибки
Языковая модель учится находить закономерности в примерах: какие слова обычно следуют друг за другом, как строятся ответы и какие варианты встречаются чаще. Если новую модель обучать на текстах, созданных предыдущей, результат становится не только учебным материалом, но и отражением её привычек и промахов.
В каждом наборе данных есть редкие обороты, необычные факты и нестандартные способы выразить мысль. Модель нередко воспроизводит такие особенности хуже, чем типичные варианты. Когда её ответы снова собирают в обучающую выборку, редкое может исчезнуть совсем, а распространённые формулировки встречаются ещё чаще. Ошибки тоже способны перейти в следующий цикл и закрепиться.
Почему страдают разнообразие и связность
Представьте, что несколько раз пересказывают длинный текст по памяти. Главная мысль обычно сохраняется, а небольшая оговорка или необычная деталь постепенно теряется. При машинном обучении эффект возникает не из-за забывчивости в человеческом смысле, а потому, что алгоритм ориентируется на статистические закономерности в доступных примерах. Если данные уже стали беднее, модель учится на этой бедности.
Такое ухудшение называют коллапсом модели. Это не означает, что любое использование сгенерированного текста неизбежно портит ИИ. Важны его доля, качество и разнообразие, а также то, проверяют ли материалы перед обучением. Синтетические примеры могут быть полезны, например для дополнения данных, но бесконтрольное повторное обучение на ответах моделей повышает риск самоповтора.
Зачем сохранять происхождение данных
Чтобы не замкнуть обучение на собственных выводах, разработчикам важно знать, откуда взялись тексты, отбирать синтетические примеры и сохранять широкий набор человеческих материалов. Иначе модель может уверенно воспроизводить всё более узкий набор привычных шаблонов — и одновременно терять редкие варианты, которые помогают ей справляться с неожиданным вопросом.
