Перейти к содержанию

Настройка и проведение тестов

Настройка А/Б-теста

  1. В главном меню Roistat выберите пункт А/Б-тесты:

    1.png

  2. Выберите, какой тип теста вы хотите создать:

    2.png

  3. Настройте и запустите тест:

Если вы создаете тест стилей
  1. Введите название теста. На вкладке Вариант 1 добавьте CSS-код для альтернативного варианта страницы:

    3.png

    Если нужно добавить другие тестовые варианты, нажмите 4.png. Чтобы переименовать или удалить вариант, нажмите 5.png и выберите нужную команду из списка.

  2. В поле Предпросмотр варианта введите адрес тестируемой страницы и нажмите Посмотреть.

  3. Чтобы сохранить и запустить тест, нажмите Создать и запустить. Если вы хотите сохранить тест, не запуская его, нажмите Создать новый тест – в этом случае тест можно будет запустить позже из общего списка.

Подробнее о тесте стилей

Если вы создаете программируемый тест

Следуйте одной из инструкций:

Программируемый тест на PHP
Программируемый тест на Python
Программируемый тест на JavaScript
Программируемый тест с равномерным распределением

Просмотр и управление

При входе в раздел А/Б тесты автоматически открывается список всех тестов.

Тесты разделены на 2 категории:

  • Активные тесты;
  • Архивные тесты – остановленные тесты, по которым не собирается новая статистика. Если вы восстановите тест из архива, он снова запустится на сайте, и статистика снова начнет отправляться.

Рядом с заголовком категории отображается количество тестов.

4.png

В табличной части каждому тесту соответствует одна строка.

Для тестов отображается следующая информация:

  • Название теста – наименование созданного теста;
  • Тип теста – один из трех типов теста: CSS, Программируемый или Равномерный;
  • Дата начала – дата и время начала теста с точностью до секунды;
  • Дата окончания – дата и время окончания/остановки теста с точностью до секунды;
  • Продолжительность – продолжительность теста в секундах, минутах, днях или др.;
  • Количество визитов – число посещений сайта с тестируемым интерфейсом.

Тесты на вкладке Запущенные тесты можно:

  • Запустить, если это тест CSS, с помощью кнопки Запустить тест;
  • Остановить с помощью кнопки Остановить;
  • Возобновить с помощью кнопки Продолжить;
  • Переместить в архив запущенный тест с помощью кнопки Архив;
  • Отредактировать, если это тест CSS, с помощью кнопки 2.png.

5.png

Тесты на вкладке Тесты в архиве можно:

  • Восстановить с помощью кнопки Восстановить – тест вернется в список активных тестов и снова запустится на сайте;
  • Отредактировать, если это тест CSS, с помощью кнопки 4.png.

6.png

Отредактировать запущенный или завершенный тест невозможно. Но вы можете создать копию этого теста, нажав кнопку Клонировать на открывшейся странице настроек теста. В скопированный тест можно вносить любые изменения.

7.png

Обратите внимание:

Клонированный  тест будет сохранен только в виде Теста стилей.

Результаты тестирования

В качестве показателя эффективности А/Б-тестирования в Roistat используется прибыль.

Выводы о результатах А/Б-тестирования часто основываются на конверсии. Это необъективно, так как заявки не всегда конвертируются в продажи. 

Для просмотра результатов теста необходимо в Списке тестов нажать на его название:

8.png

На странице результатов теста отобразится общая информация о нем:

9.png

  • Название теста, его тип и состояние;
  • Период – продолжительность теста в секундах, минутах, днях или др., а также начальная и конечная/текущая даты;
  • Визиты для этого теста – количество посещений сайта с тестируемым интерфейсом за весь период.

Результаты проведения тестирования отображаются ниже в виде таблицы.

Обратите внимание:

Если с момента начала тестирования еще не было зафиксировано ни одного визита, таблица не будет загружена.

Результаты проведения теста представляют собой статистику по сделкам, которые сгруппированы в таблице по тестируемым вариантам интерфейса. Например, в данном случае тестируются исходный вариант, Вариант 1, интерфейс с голубым оформлением и красным оформлением:

9.png

Подробная статистика отобразится, если вы развернете список. Данные внутри каждого варианта теста сгруппированы точно так же, как и в основном отчете в разделе Аналитика:

10.png

Для просмотра деталей сделок нужно навести курсор на вариант интерфейса и кликнуть на четвертый по счету значок (Показать список сделок):

11.png

В таблице отображены следующие бизнес-показатели:

  • Визиты;
  • Конверсия в заявки;
  • Заявки;
  • Конверсия в продажи;
  • Продажи;
  • Выручка;
  • Средний чек;
  • Расходы;
  • CPO;
  • ROI;
  • Польза варианта (в рублях);
  • CBA;
  • CBA+.

При наведении на название показателя появляется всплывающая подсказка, напоминающая, что означает данный термин:

12.png

У вас есть возможность управлять отображением результатов в таблице:

  1. Выбирать период, за который вы хотите просмотреть значения показателей. Для этого нажмите нужную кнопку над таблицей: календарь, Сегодня, Вчера, Неделя, Месяц, 3 месяца:

    13.png

  2. Выбирать те тестируемые варианты, рекламные каналы, кампании, ключевые слова и сделки, по которым вы хотите увидеть общую статистику. Для этого установите флажки напротив нужных позиций и посмотрите на строку Итог/Среднее. По умолчанию отображается общая статистика по всему тесту, хотя флажки и не установлены:

    14.png

Данные можно упорядочить по любому из показателей, нажав на его название. По умолчанию они упорядочены по заявкам в порядке убывания.

Ключевыми считаются два показателя, выражающие вероятность некоторого варианта победить остальные:

  • CBA – вероятность, основанная на конверсии из визитов в заявки. Используется, если цикл продаж оказывается большим, например, от визита на сайт до продажи проходит несколько месяцев. Для подсчета CBA заявок должно быть больше 5.

  • CBA+ – вероятность, основанная на прибыли. Используется в большинстве случаев, так как показатель основан на прибыли и показывает, какой из вариантов заработал больше денег. Для подсчета CBA+ продаж должно быть больше 5.

    Если количества заявок или продаж недостаточно для подсчета, значения показателей CBA и CBA+ не будут отображаться в таблице. В таком случае вы можете попробовать увеличить период, за который рассчитываются значения показателей, чтобы появилось больше данных для подсчета.

Как рассчитываются CBA и CBA+

При расчете CBA и CBA+ Roistat учитывает не только конверсию, но и доверительный интервал.

Например, вы тестируете два варианта страницы. На странице A вы получили 50 заявок на 1000 визитов, на странице B – 55 заявок на 1005 визитов:

Вариант Заявки Визиты Конверсия в заявки
A 50 1000 5%
B 55 1005 5,47%

Из таблицы видно, что вариант B лучше варианта A. Но насколько достоверен этот результат и какова вероятность победы варианта A? Чтобы определить, насколько вариант B лучше варианта A, применяется статистический анализ.

1. Сначала Roistat вычисляет доверительный интервал биномиального распределения по формуле Уилсона (Wilson score interval) для каждого варианта. В нашем случае формула выглядит так:

14-2.png

Для варианта A доверительный интервал составляет 0,69, для варианта B – 0,72.

2. Затем рассчитываются минимально и максимально возможные значения для обоих вариантов с учетом правила 68–95–99.7.

Для CBA в расчет доверительного интервала входит только показатель Конверсия в заявки:

  • Вариант A:

    min = Конверсия в заявки - доверительный интервал * 2, то есть min = 5 - 0,68 * 2 = 3,62

    max = Конверсия в заявки + доверительный интервал * 2, то есть max = 5 + 0,68 * 2 = 6,38

  • Вариант B:

    min = Конверсия в заявки - доверительный интервал * 2, то есть min = 5,47 - 0,72 * 2 = 4,04

    max = Конверсия в заявки + доверительный интервал * 2, то есть max = 5,47 + 0,72 * 2 = 6,91

Коэффициент 2 перед доверительным интервалом – это взятие в доверительный интервал диапазона +/- 2σ.

Для CBA+ вся формула min и max дополнительно умножается на Среднюю прибыль:

  • Вариант A:

    min = Средняя прибыль по Варианту A * (Конверсия в заявки - доверительный интервал * 2)

    max = Средняя прибыль по Варианту A * (Конверсия в заявки + доверительный интервал * 2)

  • Вариант B:

    min = Средняя прибыль по Варианту B * (Конверсия в заявки - доверительный интервал * 2)

    max = Средняя прибыль по Варианту B * (Конверсия в заявки + доверительный интервал * 2)

3. Построим график распределения вероятностей для вариантов A и B. Для примера выделена площадь, отражающая вероятность того, что у варианта B конверсия окажется меньше 5, а у варианта A – больше 5:

14.png

Если посчитать суммарную вероятность для ряда значений конверсии от минимально до максимально возможного (т.е. от 3,62 до 6,91), станет понятно, что вариант B победит с вероятностью 67%, вариант A – с вероятностью 33%. Эти значения и будут указаны для показателя CBA.

Если разрыв между показателем-лидером и остальными оказывается очень велик, это значит, что результатов теста собрано достаточно, а вероятность, что лидирующий вариант не победит, мала. Это и является сигналом того, что тест пора останавливать: у вас есть вариант, который гарантированно победит и принесет большую прибыль.

Обратите внимание

  • Если на тестируемые страницы нет визитов в течение 48 часов, то тест для этих страниц останавливается автоматически.
  • Количество визитов на странице А/Б-тестов начнет отображаться только после того, как на сайте будет более 10 уникальных визитов.