Яндекс.Директ: А/Б тесты

Вы уже запускали A/B-эксперименты?
⠀
Всем клиентам Директа стала доступна возможность сравнивать самые разные настройки кампаний.

А в Метрике появился отчёт, который поможет понять, какой из вариантов оказался лучше.

Сделать выводы несложно: система автоматически проверит, накопилось ли достаточно данных для анализа, и сравнит показатели, по которым вы хотите оценивать результат.
⠀
Выигрышные значения показателей будут выделены зелёным, а менее удачные — красным.
⠀
Рассказываем, как работать с отчётом.
⠀
Нужно подождать, пока накопится достаточно статистики (около двух недель). Если данных окажется недостаточно, невозможно будет уверенно сделать вывод о том, какой из вариантов оказался лучше
Выбрать в отчете нужный эксперимент и включить режим сравнения
Выбрать контрольную кампанию — то есть такую, с которой вы хотите сравнить результаты других кампаний в эксперименте. Обычно это та кампания, в которой вы не меняли никакие настройки
⠀
Если данных для сравнения достаточно, в режиме сравнения показатели будут выделены цветом:
зеленый — показатель в экспериментальной кампании оказался значимо лучше, чем в контрольной красный — значимо хуже
серый — данных достаточно, но показатели контрольной кампании не отличаются от экспериментальных.

Если показатель не выделен цветом, значит, данных слишком мало для сравнения — нужно подождать ещё какое-то время или запустить новый эксперимент с другими настройками, позволяющими собрать больше трафика.