Запуск и отчеты в Google Optimize

Приветствую, друзья! На связи Евгений Тридчиков, и в этом видео мы совершим запуск вашего первого эксперимента, а также рассмотрим отчет в действующем аккаунте Google Optimize.

В прошлом занятии я рассказал, как установить сниппет Google Optimize на сайте в зависимости от того, каким способом установлен счетчик Google Analytics. Перед запуском эксперимента осталось провести отладку.

Диагностика эксперимента перед запуском 

Для этого перейдите в тело эксперимента и на информационной панели нажмите “Выполнить диагностику”. Если вы все сделали правильно, Google Optimize оповестит об успешной установке сниппета и скрипта задержки.

Если нет – разбирайтесь, что не так. В особо тяжелых случаях, зовите на помощь в комментариях – будем разбираться.

Надеюсь, вы справились самостоятельно. Если так – запускайте эксперимент! И забудьте про него до завтра. Завтра проведите диагностику еще раз, чтобы убедиться, что все идет по плану. За сутки вы получите первые цифры в отчетах.

Но на самом деле можно не возвращаться в интерфейс как минимум на две недели. Дело в том, что рекомендация в официальной справке звучит примерно так:

  1. проводите эксперимент как минимум 2 недели, чтобы избежать случайных факторов, связанных с выходными
  2. дождитесь, пока эксперимент не будет закончен либо пока один из вариантов не покажет устойчивую вероятность успеха от 95%

Как вы понимаете, для того чтобы эксперимент прошел быстрее и продуктивнее, желательно иметь достаточный объем трафика и конверсий. Хотя байесовская статистика может давать результат и на относительно небольшой выборке. По крайней мере, так утверждает официальная справка Google Optimize.

Если вам интересна методология расчета успеха, рекомендую к изучению официальные материалы и сам Байесовский метод. Ссылку на мануал на английском языке прикладываю к видео.

Мануал по Байесовской статистике (англ): http://faculty.washington.edu/kenrice/BayesIntroClassEpi515.pdf

Демонстрация отчетов в Google Optimize

Для наглядности продемонстрирую действующий аккаунт Google Optimize. Здесь около месяца назад я запустил эксперимент на своем блоге в попытке выяснить, какая комбинация меню и названия блога получит больше кликов по ссылке YouTube.

Как видите, эксперимент еще в процессе. Здесь в качестве основной цели я указал клик по ссылке “Смотреть на YouTube”, а в качестве дополнительных “Отказы” и “Просмотр видео в блоге”.

Экспериментальная выборка – все посетители блога с компьютеров.

Перейдем на вкладку “Отчеты”. Она содержит три карточки. На первой расположена информация о статусе эксперимента, дата и время запуска, возможность принудительно завершить эксперимент, а также график экспериментальных сеансов.

Обратите внимание, какой спад в выходные дни.

Вторая вкладка содержит обзор улучшений. Здесь мы видими столбец комбинаций, а также значения доверительных интервалов для каждой цели. Вы можете нажать на крестики, чтобы удалить дополнительные цели из данного отчета.

Третья вкладка содержит таблицу с подробной информацией по каждой цели, а также настраиваемый график. Вы можете ставить и убирать галочку напротив комбинаций в таблице, чтобы настроить график нужным образом. Ползунок под графиком позволяет сократить диапазон дат, чтобы увеличить детальность.

Как трактовать цифры в отчетах?

Рассмотрим главную таблицу. В выпадающем меню вы можете выбрать цель для анализа. В первом столбце расположены комбинации, которые участвуют в эксперименте. В первой строке исходный вариант, то есть контрольное значение, относительно которого рассчитывается вероятность успеха.

Столбец “Улучшение” дублирует вторую карточку выше и содержит разницу в конверсии между текущей комбинацией и контрольным значением. Разница здесь представлена в виде диапазона. Что означают этот диапазон?

Например, в моем случае для комбинации А0-В1 и выбранной цели это означает, что с вероятностью 95% данная комбинация покажет результат в интервале от -81% хуже контрольного значения до +297% лучше контрольного значения.

Запуск и отчеты в Google Optimize
Что означают циферки и диапазоны?

Таким образом, диапазон слишком велик и располагается как в отрицательной, так и в положительной области значений. Этого недостаточно, чтобы делать вывод. Для данной комбинации нужно продолжать эксперимент. Аналогично с остальными. Надеюсь, вы уловили идею.

Вы можете навести на конкретное значение и увидеть диапазон разницы для вероятности 50%, а также медиану. Медиана – это среднее значение комбинации на текущий момент времени.

Например, на текущий момент комбинация А0–В1 для выбранной цели показывает конверсию на 14% ниже контрольного варианта. Однако как мы уже обсудили, это значение пока не имеет статистической значимости.

  • Столбец “Вероятность превосходства”  показывает вероятность, с которой комбинация окажется лучшей среди всех на текущий момент времени.
  • Столбец “Вероятность опережения базовой модели” показывает вероятность, с которой комбинация победит контрольное значение на текущий момент времени.
  • Столбец “Коэффициент конверсии” показывает диапазон абсолютных значений конверсии. Здесь логика такая же, как со столбцом “Улучшение”. Только там мы видим диапазон относительных значений (то есть насколько комбинация окажется лучше/хуже), а здесь видим диапазон абсолютных значений (то есть чему равна конверсия для каждой комбинации).
  • Последний столбец содержит количество полученных конверсий по каждой комбинации.

Переключимся на цель “Отказы”. Как видите, здесь есть несколько комбинаций, которые уже имеют статистически значимый результат относительно выбранной цели. Оказывается, комбинация А1-В0, которую мы рассмотрели ранее, преуспела в отказах.

Сейчас показатель отказов для данной комбинации с вероятностью 95% ниже контрольного значения на 2-16%. Напомню, что низкий показатель отказов лучше, чем высокий. Думаю, понятно, почему я говорю “ниже контрольного значения”, а не выше. Просто особенность цели.

Методология: https://support.google.com/optimize/answer/7405543

Итак, вероятность стать победителем гонки 98%. А вероятность победить контрольный вариант – 99%. Фактическое значение отказов для данной комбинации – 69,2%. И это ниже контрольного значения, у которого он 76,1%.

Обратите внимание, насколько выборка конверсий больше, чем число полученных конверсий по другим целям. Это объясняет полученную ситуацию. Поэтому старайтесь получать больше трафика и больше конверсий.

Запуск и отчеты в Google Optimize
Отчет Эксперименты пока доступен в Google Analytics

Также обратите внимание, что в Google Analytics еще доступен отчет “Эксперименты”. Он находится в разделе “Поведение”. Но насколько мне известно, скоро будет упразднен.


Смотрите видео

Что ж, друзья. Поздравляю вас с запуском вашего первого эксперимента! Будут вопросы – пишите в комментариях. А если видео получилось полезным – поделитесь с друзьями. С вами был Евгений Тридчиков, и я желаю вам великолепного дня!

comments powered by HyperComments
(2 оценок, среднее: 5,00 из 5)
Загрузка ...
CONTEXT-KILL.BY