Почему редкий знак сообщает больше
Представим, что мы читаем строку «ААААА». Если в этом сообщении уже несколько раз повторилась «А», следующий такой же знак почти не меняет наших ожиданий. А вот внезапная «Я» заставляет пересмотреть догадку о продолжении. Информация здесь связана не с необычным видом буквы, а с тем, насколько трудно было предсказать её появление.
В теории информации эту неожиданность можно выразить числом: чем меньше вероятность события, тем больше информации оно несёт. Для события с вероятностью p количество информации равно −log₂(p) бит. Если знак ожидался часто, его появление добавляет мало; если почти не ожидался — добавляет больше. Бит — удобная единица для сравнения таких изменений в ожиданиях.
Сюрприз зависит от контекста
У буквы нет постоянного «веса». В обычном русском тексте «О» встречается часто, но в наборе, состоящем из одних нулей, внезапная буква «О» окажется событием с низкой вероятностью. И наоборот: среди случайно перемешанных символов очередная «А» может быть ничуть не удивительнее других знаков.
Поэтому оценка зависит от того, какую модель предсказания мы используем: учитываем ли предыдущие буквы, слова и саму ситуацию. В начале последовательности догадка может быть расплывчатой; после нескольких повторов она уточняется, и очередной одинаковый знак становится всё предсказуемее. Неожиданный символ меняет эту картину, хотя сам по себе не обязательно объясняет, что именно хотел сказать автор.
Неожиданность — ещё не смысл
Количество информации описывает, насколько событие обновило ожидания, а не насколько оно важно или осмысленно для человека. Случайная буква может быть крайне неожиданной, но не сообщать ничего полезного. Знакомое слово, напротив, может быть предсказуемым, однако многое значить в конкретном разговоре.
Так что «сюрприз» в этой математике — не эмоциональная оценка и не мера хаоса. Это мера разницы между тем, что модель ждала увидеть, и тем, что появилось: в строке из повторов именно один непредвиденный знак способен сообщить больше, чем целая череда ожидаемых.
