«Чем больше тестов, тем лучше!» и другие мифы о тестировании A / B, развенчанные

1. Подойдут ли реальные показатели успеха А / Б тестирования? Сегодня большинство маркетологов понимают...
2. Миф № 1: Чем больше тестов, тем лучше!
3. Миф № 2: Статистическая значимость является конечной целью
4. Миф № 2, Часть II: Вы должны запустить тест, пока он не достигнет статистической значимости
5. Миф №3. A / B-тестирование дает такой же результат, как и его влияние на коэффициент конверсии
6. Пример
7. Миф № 4: A / B-тестирование практически не требует размышлений или планирования
8. Итак, как же на самом деле выглядит программа A / B тестирования, приносящая доход?
9. Как вы думаете?
10. автор
11. Авторы

Подойдут ли реальные показатели успеха А / Б тестирования?

Сегодня большинство маркетологов понимают важность A / B-тестирования. Стратегия применения научного метода к маркетингу, чтобы доказать, окажет ли идея положительное влияние на вашу прибыль, больше не нова.

Но, хотя практика A / B-тестирования становится все более распространенной, слишком много маркетологов все еще покупают повсеместные мифы A / B-тестирования . #AlternativeFacts.

Это продолжается уже много лет, но мифы продолжают развиваться. Другие блоггеры уже обратились к мифам вроде « A / B тестирование и оптимизация конверсии - это одно и то же ", а также " Вы должны A / B проверить все ».

По мере появления новых экспертов по A / B-тестированию мифы о A / B-тестировании стали более конкретными. Руководствуясь лучшими практиками, советами и хитростями, эти мифы представляют идеи о A / B-тестировании, которые, если оставить их без внимания, сорвут ваши усилия по оптимизации маркетинга.

Избегайте ошибок специального A / B-тестирования ...

Получите это руководство и узнайте, как построить машину оптимизации в вашей компании. Узнайте, как использовать A / B-тестирование как часть вашей более широкой маркетинговой стратегии оптимизации!

Но никогда не бойся! С помощью стратега оптимизации WiderFunnel, Денис Павлина Я собираюсь опровергнуть четыре мифа о тестировании А / Б, которые мы слышим снова и снова. Потому что есть такая вещь, как успешная, устойчивая программа A / B-тестирования…

В свет мы идем!

Миф № 1: Чем больше тестов, тем лучше!

Многие маркетологи приравнивают Успешное тестирование A / B со скоростью A / B тестирования. И я понял. Чем больше тестов вы выполняете, тем быстрее вы их проводите, тем выше вероятность того, что вы выиграете и докажете ценность A / B-тестирования в целом… верно?

Не так много. Одержимость скоростью не принесет вам тех побед, на которые вы надеетесь в долгосрочной перспективе.

Ключом к устойчивым результатам A / B-тестирования является нахождение баланса между краткосрочным (максимальная скорость тестирования) и долгосрочным (тестирование для сбора данных и анализа).

Когда вы сосредотачиваетесь исключительно на скорости, вы тратите меньше времени на структурирование своих тестов, и вы упускаете возможности для понимания .

В каждом эксперименте вы должны убедиться, что гипотеза , Вы должны отслеживать все наиболее важные цели, чтобы получить максимальную информацию, и проверять все варианты, чтобы ошибки не искажали ваши данные.

Акцент на скорости может привести к ошибкам, которых легко избежать, если уделять больше времени подготовке.

Еще одна проблема: если вы решили быстро протестировать множество идей, вы жертвуете своей способностью действительно проверять и использовать идею. Один победный тест А / Б может означать быстрое повышение коэффициента конверсии, но это не значит, что вы полностью раскрыли потенциал этой идеи.

Вы можете часто применять идеи, полученные в результате одного эксперимента, при разработке стратегии для другого эксперимента. Кроме того, эти идеи предоставляют дополнительные доказательства для проверки конкретной концепции. Составление огромного списка экспериментов сразу, без учета этих прошлых идей, может привести к тому, что ваша программа тестирования будет более точной, чем доказательной.

Хотя вы можете шуметь с помощью стратегии «как можно больше испытаний», вы не увидите значительного влияния бизнеса на должную стратегия структурированного A / B тестирования ,

Миф № 2: Статистическая значимость является конечной целью

Краткий обзор

Статистическая значимость говорит нам, существует ли истинная разница между вариацией и контролем (то есть, что разница не обусловлена ​​случайностью). Для оценки вероятности мы используем показатель, называемый уровнем значимости (или уровнем достоверности).

В WiderFunnel мы рекомендуем уровень значимости 95%, когда это возможно. Если выигрышный вариант статистически значим на 95%, вы можете быть на 95% уверены, что результаты не вызваны случайностью (ложное срабатывание).

-

Хорошо, вот что насчет статистической значимости: это важно, но маркетологи часто говорят об этом, как будто это единственный определяющий фактор для завершения А / Б-теста. На самом деле, вы не можете просматривать его в бункере.

Например, инструмент тестирования, использованный во время недавнего эксперимента, сообщил о статистической значимости всего через три часа после начала эксперимента. Поскольку статистическая значимость рассматривается как конечный результат, как и все, такой результат может быть захватывающим! Но за три часа мы не собрали типичный размер выборки.

Не следует ждать, пока тест будет значимым (потому что он может никогда не произойти), или остановить тест, как только он станет значимым. Вместо этого вам нужно подождать, пока рассчитанный размер выборки не будет достигнут, прежде чем остановить тест. Использовать калькулятор длительности теста чтобы лучше понять, когда остановить тест.

Через 24 часа тот же эксперимент и инструмент тестирования показали уровень достоверности всего 88%. Вот так быстро может измениться уровень достоверности, если вы не учитываете размер выборки.

Трафик ведет себя по-разному с течением времени для всех предприятий, поэтому вы всегда должны запускать тест на полные циклы деловой активности, даже если вы достигли статистической значимости. Таким образом, в вашем эксперименте были учтены все регулярные колебания трафика, которые влияют на ваш бизнес.

Для бизнеса в сфере электронной коммерции полный рабочий цикл обычно составляет одну неделю; для предприятий на основе подписки это может быть один месяц или дольше.

Миф № 2, Часть II: Вы должны запустить тест, пока он не достигнет статистической значимости

Как указала Клэр, этого может никогда не произойти. И это не значит, что вы должны полностью отказаться от A / B-теста.

Имея опыт тестирования, экспертное понимание вашего инструмента тестирования и наблюдая за факторами, которые я собираюсь изложить, вы можете обнаружить действенные идеи, которые являются направленными (направленно истинными или ложными).

Вы можете использовать эти факторы, чтобы принять решение, наиболее подходящее для вашего бизнеса: внедрить изменение, основанное на наблюдаемых тенденциях, отказаться от изменения, основанного на наблюдаемых тенденциях, и / или создать дополнительный тест!

• Стабильность результатов. Является ли разница в конверсии стабильной во времени или колеблется? Стабильность является положительным показателем.

Проверьте свои графики! Пересекаются ли показатели конверсии? Линии гладкие и ровные, или есть шипы и впадины?

• Хронология эксперимента: проводил ли я этот эксперимент хотя бы для полного бизнес-цикла? Сохранялась ли стабильность обменного курса в течение этого цикла?
• Относительность: если мой инструмент тестирования использует t-критерий для определения значимости , я смотрю на жесткие числа фактических конверсий в дополнение к коэффициенту конверсии? Имеет ли смысл рассчитанный лифт?
• LIFT & ROI: Есть ли еще потенциал для эксперимента, чтобы достичь X% подъема? Если это так, вы должны позволить ему работать, пока он жизнеспособен, особенно если учитывать ROI ,
• Влияние на другие элементы: если элементы вне эксперимента нестабильны (социальные доли, средняя стоимость заказа и т. Д.), Наблюдаемый коэффициент конверсии также может быть нестабильным.

Миф №3. A / B-тестирование дает такой же результат, как и его влияние на коэффициент конверсии

Что ж, если показатель конверсии является единственным показателем успеха, который вы отслеживаете, это может быть правдой. Но ты недооцениваешь истинный потенциал роста A / B тестирования если вы так структурируете свои тесты!

Чтобы уточнить: ваш основной показатель успеха всегда должен быть связан с вашим самым большим источником дохода.

Но это не значит, что вы не должны отслеживать другие соответствующие показатели! В WiderFunnel мы устанавливаем как можно больше соответствующих вторичных целей (клики, посещения, заполнения полей и т. Д.) Для каждого эксперимента.

Это гарантирует, что мы не только получаем представление о влиянии изменения на коэффициент конверсии, но и влиянии, которое он оказывает на поведение посетителей.

- Денис Павлина

Когда вы наблюдаете метрики вторичных целей, ваше A / B-тестирование становится экспоненциально более ценным, потому что каждый эксперимент генерирует широкий спектр вторичных идей. Их можно использовать для проведения последующих экспериментов, выявления болевых точек и лучшего понимания того, как посетители перемещаются по вашему сайту.

Пример

Один из наших клиентов предоставляет онлайн-сервис для потребителей - пользователи вводят вопрос и получают экспертный ответ. Этот клиент имеет 4-х ступенчатую воронку. С каждым проведенным тестом мы стремимся увеличить количество транзакций: финальную и наиболее важную конверсию.

Но мы также отслеживаем второстепенные цели, такие как рейтинг кликов и возврат / возврат платежей, чтобы мы могли наблюдать, как изменение влияет на поведение посетителей.

В одном эксперименте мы внесли изменения в первый шаг последовательности (целевая страница). Нашей целью было установить более четкие ожидания посетителей в начале процесса покупки. Мы протестировали 3 варианта против оригинала, и все 3 выигрыша привели к увеличению транзакций (ура!).

Вторичные цели показали важную информацию о поведении посетителей! Во-первых, каждая вариация приводила к значительному падению с этапа 1 на этап 2 ... все меньше людей входило в воронку. Но оттуда мы увидели постепенное увеличение количества кликов к шагам 3 и 4.

Наши варианты, казалось, отфильтровывали посетителей без сильного покупательского намерения. Мы также увидели интересный паттерн с одним из наших вариантов: он увеличил клики с шага 3 до шага 4 почти на 12% (огромный рост), но снизил фактические конверсии на -1,6%. Этот результат был свидетельством того, что призыв к действию на шаге 4 был чрезвычайно слабым (что привело к последующему тесту!)

Вы можете увидеть, как каждый вариант справляется с контролем в этом воронкообразном анализе.

Мы также увидели значительное снижение количества возвратов и возвратных платежей для этого клиента, что также поддержало идею о том, что правильные посетители (то есть неправильные посетители) были теми, кто выбывал.

Это просто вкус того, что каждый A / B-тест может стоить вашему бизнесу. Правильное отслеживание целей может открыть кучу идей о ваших целевых посетителях.

Миф № 4: A / B-тестирование практически не требует размышлений или планирования

Хотите верьте, хотите нет, маркетологи все еще так думают. Они все еще рассматривают A / B-тестирование в небольшом масштабе, в простых терминах.

Но A / B-тестирование - это часть большего целого, это одна из частей вашей маркетинговой программы оптимизации, и вы должны соответствующим образом построить свои тесты. Одноразовый специальный тест может дать краткосрочные результаты, но сила A / B-тестирования заключается в итерации и планировании .

A / B-тестирование - это лишь часть механизма оптимизации маркетинга.

В WiderFunnel значительный объем исследований посвящен разработке идей для одного теста A / B. Даже тесты, которые могут показаться интуитивными или здравыми, являются результатом исследований.

Стратегическая команда WiderFunnel собирается, чтобы поделиться и обсудить идеи A / B тестирования.

Потому что в любом тесте вы хотите убедиться, что вы обращаетесь к тем областям вашего цифрового опыта, которые наиболее нуждаются в улучшении. И у вас всегда должны быть доказательства, подтверждающие использование вами ресурсов, когда вы решаете проверить идею. Любая идея.

Итак, как же на самом деле выглядит программа A / B тестирования, приносящая доход?

Сегодня инструменты и технологии позволяют отслеживать практически любые маркетинговые показатели. Это означает, что у вас есть бесконечное множество доказательств, которые вы можете использовать, чтобы генерировать идеи о том, как улучшить ваш цифровой опыт.

Что делает A / B-тестирование более важным, чем когда-либо.

A / B-тест показывает, объективно, действительно ли одна из ваших многочисленных идей увеличит конверсию и прибыль. И это показывает, когда идея не соответствует вашим ожиданиям пользователей и повредит вашим показателям конверсии.

И маркетологи признают ценность A / B-тестирования. Мы твердо находимся в эпохе CMO на основе данных: маркетинговые идеи должны быть проверены и подкреплены достоверными данными.

Но основанное на результатах A / B-тестирование происходит, когда вы признаете, что это всего лишь одна часть гораздо большей головоломки.

Одна из наших любимых историй успеха A / B-тестирования - DMV.org, негосударственный контент-сайт. Если вы хотите увидеть, как выглядит действительно успешная стратегия A / B-тестирования, проверить это тематическое исследование , Вот детали высокого уровня:

Мы тестировали на DMV.org почти четыре года. Фактически, мы только что запустили наш сотый тест с ними. Для DMV.org A / B-тестирование является шагом в их программе оптимизации.

Непрерывное пользовательское исследование и сбор данных информируют о гипотезах, которые являются приоритетными и превращаются в A / B-тесты (которые структурированы с использованием надлежащих Дизайн экспериментов ). Каждый A / B тест обеспечивает рост бизнеса и / или понимание, и эти выводы возвращаются к сбору данных. Это цикл постоянного улучшения.

И вот что важно: с тех пор, как DMV.org начал стратегическое A / B-тестирование, они удвоили свои доходы по сравнению с прошлым годом и увеличили коэффициент конверсии более чем на 280%. Эти цифры говорят сами за себя, а?

Как вы думаете?

Согласны ли вы с мифами выше? Каковы некоторые заблуждения относительно A / B-тестирования, которые вы хотели бы увидеть развенчанными? Дайте нам знать об этом в комментариях!

автор

Наташа Вахид

Менеджер по маркетингу

Авторы

Денис Павлина

Стратегия оптимизации

В этом бесплатном 70-страничном руководстве мы расскажем о 6 самых страшных ошибках, которые допускают команды по оптимизации при разработке экспериментов. И мы покажем вам правильный подход.

Похожие

Комментарии