Статистическая значимость
Статистический сигнал нужно оценивать вместе с условиями теста и величиной эффекта.
Что означает p-value
При выполнении допущений модели p-value показывает вероятность получить наблюдаемую или более экстремальную статистику, если верна нулевая гипотеза. Это не вероятность истинности самой гипотезы и не вероятность будущего роста продаж.
Почему решение нельзя свести к одному числу
Частые проверки с остановкой при удачном результате и множество сравниваемых вариантов меняют риск ложного вывода. Маленький эффект при большом объёме данных может быть статистически заметным, но бесполезным для бизнеса.
Что смотреть вместе
- Размер эффекта и неопределённость его оценки.
- Количество показов и кликов по каждому варианту.
- Сопоставимость трафика и устойчивость по раундам.
- Заказы, расходы и практический смысл результата.
Частые вопросы
95% в интерфейсе означает гарантию?
Нет. Сначала нужно понять, какой именно показатель выводится и на каких допущениях он рассчитан. Статистическая оценка не является гарантией будущего эффекта.
От показателей — к решениям по своему кабинету
Аналитика продаж, финансов, рекламы и остатков в WB Profit. После первого входа — 14 дней аналитики без карты.
Начать бесплатно Посмотреть демо