Сумки для ноубуков, портфели для ноутбуков, кейсы для ноутбуков

Сумки для ноутбуков в Москве


Сумки для ночбуков, портфели для ноутбуков, кейсы для ноутдуков
(495) 788-15-29
многоканальный
Сумки для ночбуков, портфели для ноутбуков, кейсы для ноутдуков
Портком: сумки, кейсы, чехлы, ноутбуки Acer, Asus
Принять участие
Сумки для ночбуков, портфели для ноутбуков, кейсы для ноутдуков
on-line консультации специалиста ICQ: 
ICQ476557723  ICQ219699238











Оперативная доставка по всей России

Главная :: Все новости :: Формирование гипотез, запуск A/B-теста и анализ его результатов

Формирование гипотез, запуск A/B-теста и анализ его результатов

Это совокупность целого ряда статистических методов — тех самых, о которых вы читали в учебниках и изучали в университете. Грамотное и плодотворное A/B-тестирование — это не просто разделение трафика на равные и неравные доли и оценка нескольких чисел в онлайн-калькуляторе.

Сегодня сложно удивить менеджера или аналитика тем, что организация проводит A/B-тесты на постоянной основе. A/B-тестирование — обязательный подход к проверке продуктовых гипотез. Крупнейшие ИТ-компании инвестируют большие суммы в формирование отдельных команд, которые занимаются развитием платформ для запуска A/B-тестов, поиском и внедрением новых методик анализа результатов A/B-тестов.

Пожалуйста, отнеситесь к этому с пониманием — мы не можем распространять реальные данные компаний. Важно: все примеры показаны на открытых dataframe.

Иначе можно столкнуться с тем, что мы начнем решать проблемы одного пользователя и упустим действительно важные вещи. Качественные данные указывают исследователю на проблемы реальных пользователей, которые обязательно должны быть подкреплены количественными показателями.

Большие данные покажут вам, где болит, а качественные погрузят в контекст проблемы. Хорошая гипотеза рождается на стыке качественных и количественных данных.

На этом этапе аналитики исследуют поведение пользователей, выявляют особенности продукта и находят узкие места. Процесс формирования гипотез начинается со знакомства с количественными данными.

Допуская такую ошибку, вы рискуете упустить из вида проблемы отдельных групп пользователей. Стоит отметить, что самая частая ошибка при построении воронки — отсутствие разделения на сегменты.

Она доступна для понимания даже тем, кто никогда не сталкивался с анализом данных: в простой форме воронка показывает поведение пользователей и выявляет самые проблемные шаги. Воронка — самое наглядное представление линейного движения пользователя по направлению к целевому действию.

Основная ценность метода в том, что он позволяет отличить случайные колебания в данных от статистически значимого роста и падения ключевых метрик. Важно учитывать динамику поведения пользователей в зависимости от дней, недель, месяцев или любых других периодов, которые подходят под бизнес-цикл вашего продукта.

И чаще всего их реальное поведение оказывается совершенно не таким, как мы себе представляем. Пользователи в продукте ведут себя нелинейно. Построение сценариев переходов на основе реальных данных помогает трезво посмотреть на поведение аудитории.

Уход человека с одного из шагов воронки еще не говорит о наличии проблемы. Не все пользователи, пришедшие на продукт, сразу же совершают целевое действие, будь то заполнение анкеты, покупка товара или приобретение услуги. Построение когорт способно показать реальную картину прохождения воронки и возвращения пользователей на отдельные этапы. Скорее всего, клиент просто ушел подумать или поискать альтернативные предложения. При построении когорт также важно проводить сегментацию.

Для этого нужно подобрать оптимальный набор количественных и качественных методов. После того, как узкие места продукта выявлены, самое время приступить к подробному исследованию найденных проблем.

Методов много, поэтому в процессе их выбора важно исходить из бизнес-задачи и не браться за все подряд. Среди них — очные и удаленные юзабилити-исследования, глубинные интервью, включенные наблюдения и прочее. Этой теме мы посвятим отдельную статью в скором времени.

В результате мы получаем возможность менять не только цвет и тексты, но и создавать новые функциональные сущности или развивать имеющиеся, а также успешно сегментировать гипотезы еще на этапе запуска. Для запуска экспериментов мы чаще всего используем GTM или Google Optimize, где разделяем трафик, готовим визуальное представление гипотезы и задаем условия ее отображения (сегменты и тому подобное). Это дает большое преимущество в условиях ограниченных технических и финансовых ресурсов.

Для ранжирования гипотез существует несколько методов, среди них — PIE, CXC и другие. Список сформулированных гипотез может получиться очень большим, поэтому он требует приоритизации и определения периодов запуска экспериментов. Подробнее о приоритете мы расскажем в отдельной статье.

У клиентов практически не остается времени на проработку гипотез, их реализацию и запуск экспериментов, поэтому эту часть работ мы берем на себя. На практике часто приходится работать с продуктами с долгим и сложным циклом разработки.

Грамотный процесс аналитики должен содержать в себе шесть этапов. Для уверенности в достоверности полученных результатов нужно комплексно подходить к процессу анализа.

Примитивно использовать онлайн-калькулятор для анализа результатов теста, потому что появляется высокий риск ошибки. A/B-тестирование — это чистая статистика. В этом случае не учитываются особенности данных в динамике.

/ х *100%, где V — коэффициент вариации, ? Коэффициент вариации рассчитывается по формуле: V = ? — стандартное отклонение случайной величины от средней, х — средняя арифметическая случайной величины.

Чтобы считать данные пригодными для анализа, нужно убедиться, что уровень вариации случайной величины находится в допустимых пределах. Первый важный этап анализа данных эксперимента — расчет вариации данных внутри экспериментальных выборок.

Нижняя и верхняя границы широкой части — это вторая и третья квартиль, а линия внутри — медиана. Нижняя и высшая точка каждого box-plot представляет наименьшее и наибольшее наблюдаемые значения. Если на графике присутствуют точки, лежащие за пределами основного тела графика, то в выборке присутствуют выбросы.

Для этого в R используется библиотека psych, позволяющая посчитать все описательные статистики для каждой переменной внутри переданного на вход dataframe. Параллельно с построением box-plot рассчитываются основные описательные статистики по целевым действиям (шагам воронки).

В любом случае важно точно выявить закон распределения пользователей, чтобы подобрать соответствующие методы оценки достоверности результатов. Если эксперимент проходил в течение достаточного количества времени, а собранные данные обладают допустимым уровнем вариации, то распределение чаще всего оказывается нормальным.

Дата публикации: 09.11.2017



Ещё новости


  20.11.2017  Uber купит у Volvo 24 тысячи беспилотных машин

Предполагается что Uber приобретёт внедорожники премиум-класса XC90, над разработкой которых компании работали вместе. Компании подписали рамочное соглашение о продаже автомобилей в период с 2019 по 2...

  20.11.2017  15 главных трендов контент-маркетинга в 2018 году

  20.11.2017  10 дешевых безрамочников, похожих на iPhone X

К сожалению, законодатели мира гаджетов считают, что будущего достойны только те, кто готов раскошелиться. Безрамочные смартфоны — будущее. Сегодня посмотрим на реальные безрамочные смартфоны за реаль...

  19.11.2017  7 вечных двигателей

Впрочем, число их не уменьшается, и в патентные бюро исправно шлют заявки на все новые модификации «вечных двигателей», на поверку оказывающиеся мистификацией. Конечно, сейчас вечный двигатель стал уд...

  20.11.2017  Google исправит проблемы с микрофоном Pixel 2 в следующем апдейте

Особенно проблема заметна на высокой громкости. Владельцы нового флагмана Google жалуются на плохое качество связи — Pixel 2 шумит и трещит во время разговора. Сотрудники компании в курсе ситуации и о...



Все новости
ПортКом: Сумки и всевозможные аксессуары для портативной техники