Почему одного кадра недостаточно
Чтобы лицо выглядело убедительно в движении, системе нужно понять не только его форму, но и то, как она меняется: где оказываются глаза при повороте головы, как изгибается рот при речи, какие участки лица уходят в тень. По множеству кадров алгоритм оценивает устойчивые черты и их изменения, а не просто копирует отдельное выражение.
Затем движения лица-источника описываются как набор изменений — например, открывание рта, поднятие бровей или поворот головы. Эти изменения применяются к геометрии другого лица, а его собственная внешность служит видимым «слоем»: система согласует текстуру, освещение и положение изображения, чтобы новая мимика не выглядела наклеенной.
Почему подмена может бросаться в глаза
Лицо занимает много внимания, а зритель хорошо замечает несоответствия между движением и внешностью. Если рот меняет форму не в такт речи, контур лица дрожит между кадрами или освещение на лице расходится с освещением сцены, подмена становится заметной. Особенно трудны быстрые повороты: часть лица скрывается, и алгоритму приходится восстанавливать то, чего не видно в текущем кадре, опираясь на сведения из других изображений.
Поэтому качество зависит не только от сходства двух лиц, но и от согласованности всего ролика во времени. Убедительная подмена — это не одна удачная картинка, а непрерывное совпадение мимики, формы и света от кадра к кадру.
