Как слова получают статистическую «подпись» модели
При генерации языковая модель выбирает продолжение по вероятностям: например, одно слово подходит лучше, другое — чуть хуже. Водяной знак использует эту свободу. Перед выбором система по специальному ключу делит возможные токены — слова или их части — на группы и слегка повышает вероятность токенов из одной из них.
Читатель обычно не замечает подмены: каждое выбранное слово по-прежнему уместно, а смысл и стиль текста почти не меняются. Но на длинном отрывке доля токенов из отмеченной группы оказывается немного выше ожидаемой. Именно это небольшое смещение и служит следом.
Как след обнаруживают
Проверяющая программа, располагая нужным ключом и предполагаемым текстом, повторяет разбиение токенов и оценивает, насколько часто встречаются «подталкиваемые» варианты. Одно совпадение ничего не доказывает: такие слова могли появиться случайно. Уверенность растёт, когда характерное отклонение повторяется на протяжении множества токенов.
Поэтому водяной знак — не скрытая фраза или особая последовательность символов, а статистический сигнал, встроенный в обычный выбор слов. Система может настроить его так, чтобы усилить обнаружимость или, наоборот, уменьшить заметное влияние на естественность текста.
Что именно можно установить
Такой сигнал способен указать, что текст, вероятно, создан системой, которая использовала этот способ маркировки. Если разные модели или сервисы применяют разные ключи, проверка может помочь связать текст с конкретной системой. Однако это не безошибочная метка: короткий фрагмент даёт мало данных, а редактирование, перевод или перефразирование могут ослабить след.
Практическое следствие в том, что происхождение текста пытаются определять не по одному «подозрительному» слову, а по едва заметной закономерности во множестве выборов. Чем больше исходного текста сохранилось, тем больше материала у проверяющего для поиска этой закономерности.
