Перейти к содержанию

Проведение тестов

Сплит-тестирование или А/Б-тестирование -- инструмент для тестирования вариантов интерфейса сайта. Может применяться при разработке дизайна сайта для определения наиболее удачного интерфейса. Интерфейс включает не только графическое оформление, но и действия, которые могут выполняться посетителем сайта.

Чтобы проверить эффективность элемента сайта, вы можете создать разные варианты его оформления и протестировать их. В процессе тестирования разные посетители сайта будут видеть разные варианты оформления. Пример: в случае теста с двумя вариантами оформления посетитель сайта с визитом №1 увидит первый вариант оформления, посетитель сайта с визитом №2 увидит второй вариант, посетитель с визитом №3 снова увидит первый вариант, и так далее.

Если на сайте была создана заявка, информация о варианте интерфейса будет передаваться в результаты тестов.

Варианты тестирования

В Roistat есть два варианта тестов:

  • тесты стилей - настраиваются в Roistat с указанием css-стилей. Позволяют изменять только визуальные эффекты интерфейса, что ограничивает функциональность, но упрощает настройку.
  • программируемые тесты - настраиваются на сервере c помощью PHP. Программируемые тесты обладают большей функциональностью, так как в коде вы можете указать намного больше типов изменений кроме визуальных. Более того, программируемые тесты намного надежнее, так как исполняются на сервере.

Для небольших визуальных изменений интерфейса лучше использовать тесты стилей. Для тестирования визуальных эффектов и различных действий на сайте подойдут программируемые тесты.

Настройка тестов

Просмотр и управление

При входе в раздел Сплит-тестирование автоматически открывается список всех тестов.

Тесты разделены на 2 категории:

  • Запущенные тесты;
  • Тесты в архиве.

Рядом с заголовком категории отображается количество тестов.

1.png

В табличной части каждому тесту соответствует одна строка.

Для тестов отображается следующая информация:

  • Название теста - наименование созданного теста;
  • Тип теста - 1 из двух типов теста: CSS или Программируемый;
  • Дата начала - дата и время начала теста с точностью до секунды;
  • Дата окончания - дата и время окончания/остановки теста с точностью до секунды;
  • Продолжительность - продолжительность теста в секундах, минутах, днях или др.;
  • Количество визитов - число посещений сайта с тестируемым интерфейсом.

Тесты на вкладке Запущенные тесты можно:

  • запустить, если это тест CSS, с помощью кнопки Запустить тест;
  • остановить с помощью кнопки Остановить;
  • возобновить с помощью кнопки Продолжить;
  • переместить в архив запущенный тест с помощью кнопки Архив;
  • отредактировать, если это тест CSS, с помощью кнопки 2.png.

3.png

Тесты на вкладке Тесты в архиве можно:

  • восстановить с помощью кнопки Восстановить -- в списке активных тестов он появится после перехода на соответствующую вкладку;
  • отредактировать, если это тест CSS, с помощью кнопки 4.png.

5.png

Отредактировать запущенный или завершенный тест невозможно. Но вы можете создать копию этого теста, нажав кнопку Клонировать на открывшейся странице настроек теста. В скопированный тест можно вносить любые изменения.

6.png

Внимание!

Клонированный  тест будет сохранен только в виде Теста стилей.

Результаты тестирования

В качестве показателя эффективности сплит-тестирования в Roistat используется прибыль.

Выводы о результатах сплит-тестирования часто основываются на конверсии. Это необъективно, так как заявки не всегда конвертируются в продажи. 

Для просмотра результатов теста необходимо в Списке тестов нажать на его название:

7.png

При открытии на странице результатов теста всегда отображается общая информация о нем:

8.png

  • название теста, его тип и состояние;
  • Период - продолжительность теста в секундах, минутах, днях или др., а также начальная и конечная/текущая даты;
  • Визиты для этого теста - количество посещений сайта с тестируемым интерфейсом за весь период.

Результаты проведения тестирования отображаются ниже в виде таблицы.

Внимание!

Если с момента начала тестирования еще не было зафиксировано ни одного визита, то таблица не будет загружена.

Результаты проведения теста представляют собой статистику по сделкам, которые сгруппированы в таблице по тестируемым вариантам интерфейса. Например, в данном случае тестируются исходный вариант, Вариант 1, интерфейс с голубым оформлением и красным оформлением:

9.png

Подробная статистика отобразится, если вы развернете список. Данные внутри каждого варианта теста сгруппированы точно так же, как и в основном отчете в разделе Аналитика:

10.png

Для просмотра деталей сделок нужно навести курсор на вариант интерфейса и кликнуть на четвертый по счету значок (Показать список сделок): 11.png

В таблице отображены следующие бизнес-показатели:

  • Визиты;
  • Конверсия в заявки;
  • Заявки;
  • Конверсия в продажи;
  • Продажи;
  • Выручка;
  • Средний чек;
  • Расходы;
  • CPO;
  • ROI;
  • Польза варианта (в рублях);
  • CBA;
  • CBA+.

При наведении на название показателя появляется всплывающая подсказка, напоминающая, что означает данный термин:

12.png

У вас есть возможность управлять отображением результатов в таблице:

  1. Выбирать период, за который хотите просмотреть значения показателей. Для этого нажмите нужную кнопку над таблицей: календарь, Сегодня, Вчера, Неделя, Месяц, 3 месяца:

13.png

  1. Выбирать те тестируемые варианты, рекламные каналы, кампании, ключевые слова, сделки, по которым хотите увидеть общую статистику. Для этого установите флажкии напротив нужных позиций и посмотрите на строку Итог/Среднее. По умолчанию отображается общая статистика по всему тесту, хотя флажки и не установлены: 14.png

Данные можно упорядочить по любому из показателей, нажав на его название. По умолчанию они упорядочены по заявкам в порядке убывания.

Ключевыми считаются два показателя, выражающие вероятность некоторого варианта победить остальные:

  • CBA - это вероятность, основанная на конверсии из визитов в заявки. Используется, если цикл продаж оказывается большим, например, от визита на сайт до продажи проходит несколько месяцев;
  • CBA+ - это вероятность, основанная на прибыли. Используется в большинстве случаев, так как показатель основан на прибыли и показывает, какой из вариантов заработал больше денег.

Если разрыв между показателем-лидером и остальными оказывается очень велик, это значит, что результатов теста собрано достаточно, а вероятность, что лидирующий вариант не победит, мала. Это и является сигналом того, что тест пора останавливать: у вас есть вариант, который гарантированно победит и принесет большую прибыль.

Внимание!

Если на тестируемые страницы нет визитов в течение 48 часов, то тест для этих страниц останавливается автоматически.

Внимание!

Количество визитов на странице сплит-тестов начнет отображаться только после того, как на сайте будет более 10 уникальных визитов