Он отражает, как часто пользователи переходят по ссылкам. Например, при CTR 3% три человека из ста перешли по ссылке. Прочитайте эту статью Skillbox Media, чтобы узнать, что такое A/B-тестирование, и научиться его проводить. Если у вас есть трудности с определением метрик или проведением АВ тестов – приходите на менторство – пишите в telegram @product_kris.
Ответ на вопрос, как улучшить продукт, необязательно может быть в методе A/B-тестирования. Допустим, мы недавно запустили лендинг, и пока нет данных по нужным метрикам. Или у нас нет данных по метрикам, потому что не были установлены счетчики на сайте (да, такое тоже бывает), и мы не можем определить точку отсчёта в А/В-тесте. Для завершения А/Б тестирования нажмите на кнопку ”Завершить А/Б тест”, она будет отображаться вместо кнопки ”Запустить А/Б тест”. После чего будет показано окно с результатами тестирования и возможностью выбрать финальный вариант.
Например, пользователь может отправить ссылку на версию А пользователю, который должен увидеть версию В. Чтобы этого избежать, требуется изолировать пользователей в группе А от пользователей в группе В. Например, если пользователь находится в группе А, то все другие пользователи, которые могут повлиять на его поведение, также входят в группу А. Взаимодействие между участниками A/B-теста может повлиять на результат эксперимента.
Выбираем Целевую, Прокси И Контр Метрики
Также в анализе можно запросить отчет о достоверности результатов из Google Optimize. В норме достоверность должна составлять более ninety five %. Этот показатель доступен уже во время исследования, но если в процессе сервис показывает более низкие значения, прерывать эксперимент не стоит. Дополнительно отслеживайте другие метрики — время пользователей на сайте, например. Это поможет в дальнейшем собрать более полную картину исследования. Изучение поведения пользователей на сайте помогает сделать интерфейс более удобным, повысить продажи и улучшить позиции сайта в выдаче.
При негативном исходе придется задуматься, как еще можно повысить показатели. Затем подготовиться к проведению нового теста, а все сделанные изменения отменить. Так, А/Б-тест income — для анализа дохода — позволит определить, вырастет ли выручка. Желательно выбирать только один показатель для оценки. Если же взять несколько показателей, то они должны быть тесно связаны друг с другом. Поэтому рассмотрим подробнее, как провести А/Б-тест двух сайтов.
С ее помощью мы можем быстро получить ответ на вопрос, находится ли наиболее важная для достижения цели информация в «фокусе» внимания пользователей. Гипотеза должна быть четко сформулирована и касаться только одного конкретного шага (страницы). Сосредотачиваться только на макроконверсии и не учитывать микроконверсии неправильно! Четко сформулируйте основные цели, которых должен достигать пользователь.
- Он полностью бесплатный и может использоваться как на лендингах, так и на отдельной странице обычного сайта.
- На следующем примере тестируется CTA (призыв к действию).
- Если оказалось, что разницы почти нет или старый вариант лучше нового, формируют новую гипотезу и проверяют её.
- Так, на картинке 1 для A-сегмента у KPI 2,5 плотность значений 0,three, то есть оно встречается в 30% случаев.
- А еще сможете визуализировать результаты анализа и аргументированно представлять их коллегам и руководству.
- Достоверный тест возможен только тогда, когда есть достаточно пользователей, информации и времени для накопления статистики.
A/B-тестирование, наоборот, проводят небольшими итерациями, постепенно что-то меняя или добавляя. Например, сначала меняем цвет кнопки, оцениваем результат — и только потом меняем другие элементы. A/B-тесты полезны компаниям с уже устоявшейся аудиторией. В таких проектах важно менять продукт максимально деликатно, чтобы не шокировать текущих пользователей масштабными изменениями. Эксперимент остановится сам, когда придёт время или когда накопится достаточно данных. Чтобы оценить результаты, нужно нажать на кнопку «Посмотреть отчет» в списке экспериментов.
Дальше нужно указать страницу, на которой вы будете проводить эксперимент, и параметры URL, по которым он будет активироваться. Например, в параметрах можно указать UTM-метку — тогда варианты будут показаны только людям, которые перешли по ссылке с этой меткой. На этом этапе определяют показатели, по которым будут сравнивать эффективность вариантов. Гипотеза в A/B-тестировании — предположение о том, какой вариант объекта принесёт лучший результат.
Таким образом, единственный способ узнать больше — это сформулировать гипотезу, протестировать ее и сделать выводы на основе результатов. Продуктовые команды, которые пренебрегают частыми экспериментами, уверены, что знают свой продукт, пользователей и как добиться необходимых результатов. В то же время команды, которые полагаются на постоянные эксперименты, признают, что знают о продукте и пользователях очень мало. И именно такой подход открывает перед командами большие возможности для улучшения продукта.
А/в-тестирование В Google Analytics
Важно задокументировать результаты и выделить положительные и отрицательные стороны. Эти документы станут основой для проведения быстрых и продуктивных мозговых штурмов в компании. Для достоверности рекомендуем одновременно тестировать не более одного элемента рекламы.
На втором графике значения резко уходят вниз — таких показаний получилось гораздо меньше, чем среднего. В интернет-маркетинге А/Б-тесты обычно используют для повышения эффективности почтовой рассылки, а также конверсии и CTR на сайте. A/B-тест дает развернутые ответы, как оптимизировать эти маркетинговые активности и в каком направлении лучше двигаться. Информацию можно накапливать с помощью счетчиков на сайте, смотреть показатели в рекламном кабинете веб-аналитики или отчетах сквозной аналитики.
Как правило, результаты тестов играют важную роль, когда принимают решение изменить дизайн нового продукта или параметры бизнес-стратегии. Например, если мы предполагаем, что метрика увеличится значительно, например, с 50% до 80%, потребуется небольшой размер выборки. А если стартовая метрика составляет 1%, и мы предполагаем, что она изменится на zero,1%, то нужно задействовать в тестировании большое количество людей. В каждом отдельном случае рассчитываем выборку заново. Вы сможете оценить итоги теста через несколько суток после начала эксперимента. Чтобы следить за процессом, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов.
Специализированные сервисы избавляют вас от подсчетов вручную и помогают провести тест с нужным вам уровнем достоверности результатов. Допустим, что на графиках рассматривался такой ключевой показатель как конверсия. Чем ее величина в сегментах больше, тем меньше разброс среднесуточных значений показателя. А при небольшом объеме исходных сведений вам потребуется более долгий эксперимент из-за большего разброса значений случайной величины.
На этом этапе определяют, какой вариант дал лучший результат. Если новый вариант показал, например, конверсию на 3% больше, его внедряют и показывают методы эффективного тестирования всей аудитории. Если оказалось, что разницы почти нет или старый вариант лучше нового, формируют новую гипотезу и проверяют её.
Если что-то пойдет не так — всегда можно исправить или откатить назад. Разберём, как работает A/B-тестирование, на примере. Маркетолог предполагает, что, если изменить цвет кнопки «Купить» с зелёного на синий, конверсия вырастет до 7%. A/B-тестирование помогает принимать решения в компаниях, которые ориентированы на конкретные данные.
Если видите, что выше показатели у варианта с изменениями, — можно считать теорию подтвержденной. После того как определились с гипотезой, подключите метрики, которые помогут отслеживать целевые показатели. Например, если цель гипотезы — увеличить количество переходов на форму регистрации, добавьте отслеживание переходов на эту форму. Часто в A/B-тестировании нужно проверять, как изменение того или иного элемента повлияет на целевые действия аудитории. Например, как добавление кнопки со справочной информацией при авторизации в приложении может повысить конверсию. Google Analytics — самый популярный сервис для аналитики, с его помощью можно создавать A/B-тесты на сайте и управлять ими.
Также не стоит одновременно тестировать несколько переменных. Тестирование вариаций нескольких разных элементов — это уже не A/B-тестирование, а многовариантное тестирование, значительно более продвинутая программа исследований. В одной из ближайших статей вы узнаете, как провести A/B тестирование с помощью автоматической подмены https://deveducation.com/ контента в сервисе Yagla. Он позволяет протестировать нужные вам элементы страницы даже при низком трафике и определить победителя за короткое время. В математической статистике это считается хорошим показателем достоверности, потому что ошибка маловероятна. Можно оставить это значение, а можно выбрать свой вариант.
Советы Для Эффективного Проведения А/b-теста
В результате выбранных изменений, метрика выросла, гипотеза подтвердилась. Но бывает и обратная ситуация, когда изменение не повлияло на ключевую метрику. Делаем выводы, что гипотеза не подтвердилась и собираем все результаты для дальнейшего анализа тестирования. Мы рекомендуем проверить тест на ошибки через 1–2 дня, но не оценивать полученные результаты, так как в них пока нет глубокой информации. Гугл и Яндекс рекомендуют проводить тестирование не меньше двух недель.
Ведь только пользователи знают, что им требуется именно сейчас. В отчёте будут все показатели обоих вариантов — например, данные о количестве посетителей страницы, числе целевых действий, конверсиях. Если Varioqub обнаружит лучший вариант, он выделит его зелёным цветом.
Для A/B-тестирования с другими метриками можно использовать другие калькуляторы. Они рассчитывают необходимый размер выборки, основываясь на том, какую точность вы хотите получить, какую погрешность можете допустить и какая у вас общая аудитория. Или наоборот, видите негативный эффект ключевой метрики и завершаете АВ тест. В некоторых АВ тестах с сильными изменениями, такой как наш пример – необходимо больше времени, для получения реальной картины. В Авито, называют это “дождаться привыкания” – то есть +7/14 дней для того, чтобы посмотреть на поведение пользователей с новым UX.
Разложим работу с А/В-тестом по этапам на примере компании по покупке авто с пробегом. Если гипотеза сырая, лучше вернуться к поиску проблемы. На практике, болевая точка может быть не там, где мы думаем.
