Как частотная связь становится ответом модели
Языковая модель обычно не получает готовый перечень социальных правил. Во время обучения она многократно пытается предсказать следующий фрагмент текста по уже увиденным словам и постепенно настраивает внутренние параметры так, чтобы чаще выбирать продолжения, похожие на архив. Если в текстах профессия регулярно соседствует с упоминаниями одной группы людей, эта связь может стать для модели удобной статистической догадкой.
Это не означает, что модель понимает такую связь как истину или сознательно поддерживает её. Но при недостатке контекста частотный шаблон способен повлиять на ответ: например, на то, какие примеры модель подберёт, кого назовёт типичным специалистом или как опишет человека с неопределённой ролью.
Почему перекос может усиливаться
Архив не просто отражает реальные тексты: в нём одни голоса и ситуации представлены чаще других. Кроме того, редкие или противоречивые примеры хуже задают устойчивый шаблон, чем повторяющаяся формулировка. Поэтому модель может уверенно воспроизводить привычную связь, даже если вопрос не требует её или если она несправедлива.
На результат влияют и последующие этапы. Разработчики могут дообучать модель на примерах желательных ответов и проверять её на задачах, где проявляются стереотипы. Это способно изменить поведение, но не превращает первоначальные закономерности в несуществующие: результат зависит от формулировки запроса, контекста и того, какие примеры использовали при настройке.
Где искать причину ответа
Чтобы понять, откуда взялся перекос, недостаточно спросить, «предвзята ли» модель. Важно проследить цепочку: какие тексты попали в архив, какие связи в них повторялись, что именно спросил пользователь и как ответ оценивали при дообучении. Стереотип может возникнуть не из одного плохого фрагмента, а из множества обычных текстов, повторяющих один и тот же шаблон. Поэтому полезная проверка — задавать одинаковые вопросы с разными именами или описаниями и сравнивать, меняется ли ответ без содержательной причины.
