Как оценить результат A/B-теста фото на WB

Посчитайте абсолютную и относительную разницу

Если у фото A 240 кликов на 10 000 показов, CTR равен 2,4%. У фото B 300 кликов на 10 000 показов — 3%. Разница составляет 0,6 процентного пункта. Относительный прирост: (3 / 2,4 − 1) × 100% = 25%.

Это учебный пример арифметики. Он не доказывает, что такой прирост повторится или приведёт к росту прибыли. При нулевом CTR контроля относительный прирост по этой формуле не определён.

Проверьте, одинаковые ли условия сравниваются

• Достаточно ли показов у каждого варианта, нет ли фото с почти пустой выборкой.
• Повторяется ли направление разницы в нескольких раундах.
• Не приходилась ли основная часть показов одного варианта на особые часы или дни.
• Не менялись ли ставки, цена, остатки или другие факторы одновременно с фото.

Оцените неопределённость

Статистическая оценка зависит от модели и допущений. Рекламные показы могут быть связаны между собой, а повторные просмотры не обязательно принадлежат новым покупателям. Поэтому статистический показатель в интерфейсе не следует трактовать как гарантию будущего результата.

Частая остановка при первом удачном результате и сравнение множества вариантов увеличивают риск случайного выбора. Определите правило завершения заранее. Если направление разницы меняется по раундам, сначала разберите условия теста.

Проверьте следующий этап

Сопоставьте переходы с корзинами и заказами. Фото может получать больше кликов, но хуже объяснять сам товар. Учитывайте задержку заказа и различия в составе аудитории.

Итоговая запись должна содержать вариант, период, объём данных, результат, ограничения и принятое действие. Для решения «оставить фото» важна не только величина прироста, но и соответствие изображения товару.