Руководство для начинающих по A / B-тестированию

1. Что такое A / B-тестирование и почему?
2. Быстрый пример:
3. Что такое проблемно-ориентированная, проверяемая гипотеза?
4. Предварительно рассчитайте продолжительность теста, размер выборки и распределение трафика.
5. Продолжительность теста:
6. Размер образца:
7. Распределение:
8. Теперь давайте запустим эксперимент
9. Сообщение результатов
10. Последняя мысль: решение общего мифа о SEO A / B-тестировании

Этот пост разбивает SEO A / B-тестирование от начала до конца - начиная с определений и заканчивая сообщением результатов клиентам. Давайте возьмем это сверху!

Что такое A / B-тестирование и почему?

SEO-специалисты используют A / B-тестирование, чтобы узнать, как различные варианты веб-страниц могут повлиять на работу пользователей, если они будут реализованы на постоянной основе. A / B-тестирование проводится с целью улучшить KPI клиента и работает путем предоставления пользователям одной из двух версий одной и той же страницы; версия A, контрольная страница и версия B, измененная страница (также часто встречаются версии C & D).

Элементы страницы, выбранные для тестирования, будут, конечно, отличаться в зависимости от KPI. Тем не менее, обычно проверенные элементы включают в себя:

• Призывы к действию
• Содержание страницы
• Панели навигации
• Воронки
• Визуальные медиа

В конце эксперимента у SEO есть данные о том, какая версия страницы была наиболее успешной в том, чтобы заставить пользователей выполнять желаемое действие (например, увеличение количества нажатий кнопок, время на сайте, покупки), и с какой степенью уверенности можно объяснить этот успех. к внесенным изменениям. Затем SEO может предложить клиенту более сильную рекомендацию относительно того, следует ли внести изменение на страницу, и количественный прогноз того, как это изменение повлияет на KPI.

Быстрый пример:

Wpromote провел A / B тест на своем Что мы делаем страница с тремя разными CTA. KPI генерировал нажатия кнопок, которые открывались в форме создания потенциальных клиентов.

Версия A: Контрольная страница с «Get Started» CTA. Версия B: откорректированная страница с «Convert» CTA. Версия C: откорректированная страница с «Запросом консультации» CTA.

В конце эксперимента мы обнаружили, что Версия B показала наилучшие результаты, с вероятностью опередить контрольный CTA на 96,7%. Другими словами, данные эксперимента показали, что обновление CTA до версии B приведет к увеличению конверсии с 96,7% статистической достоверности. Смотрите фрагмент наших результатов ниже:

Так почему же больше SEO-специалистов не проводят эти тесты, если они такие классные? Короткий ответ: это сложно, даже с тестированием программного обеспечения. И все это начинается с проблемно-ориентированной (!), Проверяемой (!!) гипотезы.

Что такое проблемно-ориентированная, проверяемая гипотеза?

Великая гипотеза должна начинаться с проблемы, а не с решения. Изучите болевые точки веб-сайта вашего клиента (такие как игнорируемые кнопки, страницы с просмотром страниц с меньшим, чем ожидалось, или оставленные корзины покупок), а затем продумайте решение. Затем определите свою цель (которая должна соответствовать KPI), тактику и прогноз в формальной гипотезе. Тупик? Попробуйте этот шаблон.

Из-за [ПРОБЛЕМЫ] мы ожидаем, что [ИЗМЕНЕНИЕ] вызовет [ВОЗДЕЙСТВИЕ]. Мы будем измерять это, используя [ДАННЫЕ МЕТРИКИ (S)], и ожидаем увидеть результаты в [X WEEKS].

Готова ли ваша гипотеза? Отлично. Теперь давайте закончим подготовку.

Предварительно рассчитайте продолжительность теста, размер выборки и распределение трафика.

Распространенная ошибка, допущенная новыми A / B-тестерами, - путать «статистически значимые» данные с «значительным результатом». Избегайте ложных положительных или отрицательных результатов, тщательно измеряя ингредиенты A / B-тестирования перед началом работы и предоставляя тесту достаточно времени для полностью испечь. Это гарантирует, что данные, которые вы предоставляете своим клиентам в конце, являются несладкими и репрезентативными. Подробнее об этих ингредиентах:

Продолжительность теста:

Убедитесь, что у вашего A / B теста достаточно времени, чтобы выплюнуть действительно репрезентативные данные. Может быть заманчиво заглянуть в свой тест (который всегда жив) через день или два и попытаться сделать свои выводы. Однако единственное, что могут предоставить данные на данный момент, - это «ложно-отрицательный» или «ложно-положительный». Один день, два дня или даже одна неделя, как правило, не достаточно длинны, чтобы собрать значимое понимание.

Размер образца:

Определите размер выборки пользователей перед запуском A / B-теста. Например, если экспериментатор заканчивает тестирование, прежде чем получить репрезентативный размер выборки, данные и, следовательно, рекомендации становятся менее полезными. Если тест выполняется слишком долго, вы тратите время на данные, которые могли быть использованы ранее. Среднее число ≤10 000 посетителей в месяц - хорошее эмпирическое правило, позволяющее убедиться, что ваши выводы значимы (хотя веб-сайты с меньшим ежемесячным трафиком могут все же получить пользу от A / B-тестирования, если тест выполняется в течение более длительного периода времени)

Распределение:

Решите, какой объем трафика вы будете выделять для версии A по сравнению с версией B. (Например, вы можете выделить 50% трафика для версии A и 50% трафика для версии B.)

Чтобы решить, какой объем трафика выделить на тестовую страницу (версия B), сбалансируйте толерантность вашего клиента к риску и объем трафика, который получает страница, и сколько времени вам нужно для запуска теста.

Избегайте внесения каких-либо изменений в вариант страницы в середине эксперимента, так как это приводит к путанице в данных и может сделать ваши результаты теста неубедительными. Если изменение необходимо в середине теста, отмените первый эксперимент и замените его новым.

Нужна помощь в расчете продолжительности вашего теста и размера выборки? Проверьте этот крутой инструмент ,

Теперь давайте запустим эксперимент

Первый шаг - выбрать платформу, которую вы будете использовать для запуска эксперимента. И то и другое Google Эксперименты а также Optimizely отличные варианты, с большим количеством функций и просты в использовании.

Посмотрите видео про Google Эксперименты а также Optimizely Платформы здесь.

Google Experiment, Optimizely и большинство других программ A / B-тестирования предоставят вам фрагмент кода JavaScript, который необходимо скопировать и вставить в заголовок страницы, который будет представлять собой успешный тест. Эта страница отличается в зависимости от цели эксперимента, но обычно это варианты формы «спасибо», доступной только пользователям, которые выполнили желаемое действие (например, страницы подтверждения, покупки и подтверждения.) Как только событие преобразования происходит на вашем сайте, программное обеспечение записывает, какой вариант страницы (например, версия A или версия B) посетитель видел.

После получения статистически значимого количества конверсий вы можете определить, какой вариант был наиболее успешным и с какой степенью уверенности вы объявляете выигрышный вариант. Общей целью, поставленной A / B-тестерами, является достижение уровня значимости 95%.

Сообщение результатов

Чем лучше маркетолог интерпретирует данные, тем лучшие рекомендации он может дать. Другими словами, критически посмотрите на данные перед вами. Помните: цель эксперимента А / Б состоит не в том, чтобы доказать, что ваша гипотеза верна, а в том, чтобы улучшить взаимодействие с пользователем и достичь целей клиента.

Последняя мысль: решение общего мифа о SEO A / B-тестировании

Я слышу от клиентов два общих отзыва о A / B-тестировании, оба из которых основаны на мифе. Давайте обратимся к ним:

Миф 1 : A / B-тестирование негативно повлияет на мои усилия по SEO, разделив сок ссылок и рейтинг ключевых слов между двумя версиями одной и той же страницы.

Реальность . Хотя Google Experiment использует разные URL-адреса для версий страниц, установка тегов rel = ”canonical” в исходной версии опровергает этот миф. С помощью Optimizely содержимое на странице обменивается с помощью JavaScript. Таким образом, хотя пользователи видят разные варианты страницы, эти боты Google по-прежнему видят только исходную страницу.

Миф 2 : Google накажет меня за маскировку ключевых слов или дублирование контента.

Реальность : Сегодняшние поисковые системы ожидают высокодинамичные сайты на основе AJAX, а это означает, что динамическая замена контента больше не считается маскировкой.

Что касается дублирующегося контента, Google наказывает только те сайты, которые имеют такой же контент, как и другой, внешний домен. Другими словами, Google не возражает против того, что вы делаете с контентом вашего сайта, если вы не крадете его у кого-то другого. В случае теста с разделением URL хорошим вариантом является тег rel = ”canonical”, указывающий на исходную версию. Более того, поисковые системы ежедневно проводят собственные А / Б тесты! Для них не имеет смысла наказывать веб-сайты за использование одной и той же стратегии улучшения.

Понравился этот пост? Проверьте больше A / B советы по тестированию в нашем блоге!

Удачи!

Похожие

Комментарии