A/B-тесты: не путать значимость с пользой

Коротко

До запуска зафиксируйте гипотезу, основную метрику, минимально интересный эффект, правила остановки и защитные метрики.

01. Договоритесь о решении до эксперимента

Хороший A/B-тест начинается не с кнопки в интерфейсе, а с конкретной гипотезы: «Если упростить оформление заказа, доля завершённых покупок вырастет без ухудшения возвратов».

До запуска выберите основную метрику, единицу рандомизации (пользователь, заказ, магазин), минимально практически значимый эффект (MDE), целевую мощность, допустимый уровень ложноположительных решений и правила завершения. Иначе велик риск подстроить вывод под понравившиеся цифры.

02. Абсолютный и относительный эффект

Пусть конверсия в контроле — 8,0%, а в тесте — 8,8%. Абсолютный прирост составляет 0,8 процентного пункта; относительный — 10%. Эти числа не взаимозаменяемы.

Разница формулировок8,8% − 8,0% = +0,8 п.п.(8,8 / 8,0 − 1) × 100% = +10%Само отличие средних ещё не доказывает причинный эффект: нужна оценка неопределённости.

Используйте доверительный интервал эффекта, а не только p-value. Даже статистически убедительный прирост может быть экономически невыгодным, если изменение ухудшает средний чек, маржу или операционные затраты.

03. Проверки качества — часть результата

Sample Ratio Mismatch. Доли участников по вариантам заметно отличаются от запланированного распределения.
Стабильность назначения. Один пользователь не должен случайно переходить между вариантами.
Зрелость метрики. Возвраты и удержание требуют времени, прежде чем можно сравнивать группы.
Подглядывание. Частая остановка теста при первом p-value ниже порога без последовательного дизайна повышает риск ложного вывода.
Множественные проверки. Десятки метрик и сегментов увеличивают шанс случайных находок.

04. Решение — не только «значимо / незначимо»

Для раскатки нужны четыре ответа: достоверен ли эксперимент, каков диапазон возможного эффекта, превышает ли выгода стоимость изменения и не ухудшились ли guardrail-метрики. Если интервал широкий, честный вывод — недостаточно данных, а не «эффекта нет».

Храните короткую карточку эксперимента: гипотеза, дизайн, сроки, метрики, основные числа, риски и решение. Она экономит месяцы повторных споров.

05. Практическая проверка

До запуска зафиксируйте MDE, размер выборки и план анализа.
Проверьте распределение участников и корректность событий.
Примите решение по эффекту, интервалу неопределённости, марже и guardrails.