Как клавиатура учится, не пересылая переписку

При обычном обучении алгоритм собирает примеры на сервере и ищет в них закономерности. Федеративное обучение меняет порядок действий: сервер отправляет устройству текущую версию модели — программы, которая предсказывает подходящее продолжение или исправление слова. Телефон обучает её на локальных примерах, а затем передаёт не сами фразы, а рассчитанное изменение модели.

«Изменение весов» — это небольшая поправка к числовым настройкам, от которых зависят предсказания. Если многие устройства предлагают похожие поправки, сервер может объединить их и обновить общую модель. Следующий цикл начинается уже с улучшенной версии.

Что именно узнаёт система

Локальные данные помогают модели замечать закономерности в наборе текста: например, какие слова обычно следуют друг за другом или какое исправление пользователь чаще выбирает. Но это не означает, что центральная модель запоминает личный словарь каждого человека или что она подстраивается исключительно под одного владельца телефона. Общая модель улучшается по множеству полученных обновлений; конкретная клавиатура также может использовать локальную информацию на самом устройстве.

Обновления не являются обычными сообщениями, однако сами по себе не дают абсолютной гарантии, что исходные данные невозможно восстановить или вывести из них. Поэтому федеративное обучение — способ уменьшить передачу чувствительной информации, а не синоним полной анонимности. В конкретной системе защиту могут усиливать дополнительными методами, но их нельзя автоматически предполагать.

Компромисс между приватностью и качеством

Такой подход позволяет обучать модель на реальном использовании, не свозя всю переписку в одно хранилище. Цена — более сложная работа: устройства имеют разную скорость и подключение, а локальные примеры не всегда одинаково полезны. Серверу приходится объединять множество неполных обновлений, вместо того чтобы анализировать каждый текст напрямую.

В результате привычное исправление может становиться точнее благодаря закономерностям, найденным на телефонах, — при этом сами фразы не обязаны покидать устройства.