Почему случайность помогает сравнить кнопки
Если просто поставить новую кнопку на страницу и сравнить клики «до» и «после», результат легко исказят другие перемены: в разные дни приходят разные посетители, меняется реклама или наступает сезонный пик. В А/В-тесте версии показывают одновременно, а распределение посетителей по группам поручают случайности. Так внешние различия не исчезают, но в среднем распределяются между группами, а не достаются только одной из них.
Что именно измеряют
До начала теста выбирают основной показатель — например, долю посетителей, нажавших кнопку. Это важно: если после просмотра результатов перебрать десятки метрик и сегментов, почти наверняка найдётся случайное отличие, которое выглядит убедительно. Клики также не всегда равны пользе: кнопка может собирать больше нажатий, но не приводить к завершению покупки или нужного действия.
Почему одного перевеса недостаточно
Даже при одинаково работающих версиях в одной группе случайно окажется чуть больше людей, готовых нажать. Поэтому разницу оценивают вместе с её статистической неопределённостью: насколько правдоподобно, что наблюдаемый перевес возник просто из-за случайного состава групп. Маленькая выборка обычно оставляет больше неопределённости; продолжительность теста и нужный объём данных планируют с учётом того, насколько заметный эффект важно обнаружить.
Есть и практическое условие: посетитель не должен постоянно перескакивать между вариантами, а версии следует сравнивать в одинаковых условиях. Иначе тест проверяет не только дизайн кнопки, но и смешение факторов. Надёжный вывод относится к конкретному изменению, выбранной метрике и аудитории, а не доказывает, что новая кнопка лучше вообще. Поэтому иногда честный итог теста — не победитель, а данных пока недостаточно.
