Яндекс.Директ: А/Б тесты
Вы уже запускали A/B-эксперименты?

Всем клиентам Директа стала доступна возможность сравнивать самые разные настройки кампаний.

А в Метрике появился отчёт, который поможет понять, какой из вариантов оказался лучше.

Сделать выводы несложно: система автоматически проверит, накопилось ли достаточно данных для анализа, и сравнит показатели, по которым вы хотите оценивать результат.

Выигрышные значения показателей будут выделены зелёным, а менее удачные - красным.

Рассказываем, как работать с отчётом.

Нужно подождать, пока накопится достаточно статистики (около двух недель). Если данных окажется недостаточно, невозможно будет уверенно сделать вывод о том, какой из вариантов оказался лучше
Выбрать в отчете нужный эксперимент и включить режим сравнения
Выбрать контрольную кампанию — то есть такую, с которой вы хотите сравнить результаты других кампаний в эксперименте. Обычно это та кампания, в которой вы не меняли никакие настройки

Если данных для сравнения достаточно, в режиме сравнения показатели будут выделены цветом:
зеленый — показатель в экспериментальной кампании оказался значимо лучше, чем в контрольной красный — значимо хуже
серый — данных достаточно, но показатели контрольной кампании не отличаются от экспериментальных.

Если показатель не выделен цветом, значит, данных слишком мало для сравнения — нужно подождать ещё какое-то время или запустить новый эксперимент с другими настройками, позволяющими собрать больше трафика