Сумки для ноубуков, портфели для ноутбуков, кейсы для ноутбуков

Сумки для ноутбуков в Москве


Сумки для ночбуков, портфели для ноутбуков, кейсы для ноутдуков
(495) 788-15-29
многоканальный
Оперативная доставка по всей России
Сумки для ночбуков, портфели для ноутбуков, кейсы для ноутдуков
Портком: сумки, кейсы, чехлы, ноутбуки Acer, Asus
Принять участие
Сумки для ночбуков, портфели для ноутбуков, кейсы для ноутдуков
on-line консультации специалиста ICQ: 
ICQ476557723  ICQ219699238













Главная :: Все новости :: Формирование гипотез, запуск A/B-теста и анализ его результатов

Формирование гипотез, запуск A/B-теста и анализ его результатов

Это совокупность целого ряда статистических методов — тех самых, о которых вы читали в учебниках и изучали в университете. Грамотное и плодотворное A/B-тестирование — это не просто разделение трафика на равные и неравные доли и оценка нескольких чисел в онлайн-калькуляторе.

Сегодня сложно удивить менеджера или аналитика тем, что организация проводит A/B-тесты на постоянной основе. A/B-тестирование — обязательный подход к проверке продуктовых гипотез. Крупнейшие ИТ-компании инвестируют большие суммы в формирование отдельных команд, которые занимаются развитием платформ для запуска A/B-тестов, поиском и внедрением новых методик анализа результатов A/B-тестов.

Пожалуйста, отнеситесь к этому с пониманием — мы не можем распространять реальные данные компаний. Важно: все примеры показаны на открытых dataframe.

Иначе можно столкнуться с тем, что мы начнем решать проблемы одного пользователя и упустим действительно важные вещи. Качественные данные указывают исследователю на проблемы реальных пользователей, которые обязательно должны быть подкреплены количественными показателями.

Большие данные покажут вам, где болит, а качественные погрузят в контекст проблемы. Хорошая гипотеза рождается на стыке качественных и количественных данных.

На этом этапе аналитики исследуют поведение пользователей, выявляют особенности продукта и находят узкие места. Процесс формирования гипотез начинается со знакомства с количественными данными.

Допуская такую ошибку, вы рискуете упустить из вида проблемы отдельных групп пользователей. Стоит отметить, что самая частая ошибка при построении воронки — отсутствие разделения на сегменты.

Она доступна для понимания даже тем, кто никогда не сталкивался с анализом данных: в простой форме воронка показывает поведение пользователей и выявляет самые проблемные шаги. Воронка — самое наглядное представление линейного движения пользователя по направлению к целевому действию.

Основная ценность метода в том, что он позволяет отличить случайные колебания в данных от статистически значимого роста и падения ключевых метрик. Важно учитывать динамику поведения пользователей в зависимости от дней, недель, месяцев или любых других периодов, которые подходят под бизнес-цикл вашего продукта.

И чаще всего их реальное поведение оказывается совершенно не таким, как мы себе представляем. Пользователи в продукте ведут себя нелинейно. Построение сценариев переходов на основе реальных данных помогает трезво посмотреть на поведение аудитории.

Уход человека с одного из шагов воронки еще не говорит о наличии проблемы. Не все пользователи, пришедшие на продукт, сразу же совершают целевое действие, будь то заполнение анкеты, покупка товара или приобретение услуги. Построение когорт способно показать реальную картину прохождения воронки и возвращения пользователей на отдельные этапы. Скорее всего, клиент просто ушел подумать или поискать альтернативные предложения. При построении когорт также важно проводить сегментацию.

Для этого нужно подобрать оптимальный набор количественных и качественных методов. После того, как узкие места продукта выявлены, самое время приступить к подробному исследованию найденных проблем.

Методов много, поэтому в процессе их выбора важно исходить из бизнес-задачи и не браться за все подряд. Среди них — очные и удаленные юзабилити-исследования, глубинные интервью, включенные наблюдения и прочее. Этой теме мы посвятим отдельную статью в скором времени.

В результате мы получаем возможность менять не только цвет и тексты, но и создавать новые функциональные сущности или развивать имеющиеся, а также успешно сегментировать гипотезы еще на этапе запуска. Для запуска экспериментов мы чаще всего используем GTM или Google Optimize, где разделяем трафик, готовим визуальное представление гипотезы и задаем условия ее отображения (сегменты и тому подобное). Это дает большое преимущество в условиях ограниченных технических и финансовых ресурсов.

Для ранжирования гипотез существует несколько методов, среди них — PIE, CXC и другие. Список сформулированных гипотез может получиться очень большим, поэтому он требует приоритизации и определения периодов запуска экспериментов. Подробнее о приоритете мы расскажем в отдельной статье.

У клиентов практически не остается времени на проработку гипотез, их реализацию и запуск экспериментов, поэтому эту часть работ мы берем на себя. На практике часто приходится работать с продуктами с долгим и сложным циклом разработки.

Грамотный процесс аналитики должен содержать в себе шесть этапов. Для уверенности в достоверности полученных результатов нужно комплексно подходить к процессу анализа.

Примитивно использовать онлайн-калькулятор для анализа результатов теста, потому что появляется высокий риск ошибки. A/B-тестирование — это чистая статистика. В этом случае не учитываются особенности данных в динамике.

/ х *100%, где V — коэффициент вариации, ? Коэффициент вариации рассчитывается по формуле: V = ? — стандартное отклонение случайной величины от средней, х — средняя арифметическая случайной величины.

Чтобы считать данные пригодными для анализа, нужно убедиться, что уровень вариации случайной величины находится в допустимых пределах. Первый важный этап анализа данных эксперимента — расчет вариации данных внутри экспериментальных выборок.

Нижняя и верхняя границы широкой части — это вторая и третья квартиль, а линия внутри — медиана. Нижняя и высшая точка каждого box-plot представляет наименьшее и наибольшее наблюдаемые значения. Если на графике присутствуют точки, лежащие за пределами основного тела графика, то в выборке присутствуют выбросы.

Для этого в R используется библиотека psych, позволяющая посчитать все описательные статистики для каждой переменной внутри переданного на вход dataframe. Параллельно с построением box-plot рассчитываются основные описательные статистики по целевым действиям (шагам воронки).

В любом случае важно точно выявить закон распределения пользователей, чтобы подобрать соответствующие методы оценки достоверности результатов. Если эксперимент проходил в течение достаточного количества времени, а собранные данные обладают допустимым уровнем вариации, то распределение чаще всего оказывается нормальным.

Дата публикации: 09.11.2017



Ещё новости


  21.01.2018  Экстремальная посадка самолета при боковом ураганном ветре

Можно только представить, что пережили и пилоты, и пассажиры на борту, прежде чем самолет коснулся земли. Это посадка самого обычно рейса EW9203 из Болоньи в Дюссельдорф. Можно только представить, что...

  20.01.2018  В первом квартале Apple продаст 18 млн iPhone X

Интересно, что ранее он ожидал продажи iPhone X по итогам текущего квартала на уровне 20-30 миллионов экземпляров. В своём новом докладе для инвесторов Мин-Чи Куо, на которого ссылается интернет-издан...

  21.01.2018  Космонавт полетал по МКС на пылесосе

Приходилось отвечать, что не пробовал. Российский космонавт Антон Шкаплеров опубликовал видео, на котором он летает верхом на пылесосе по Международной космической станции, при этом фоном играет песня...

  21.01.2018  Как слушать Apple Music за 75 рублей, если нет почты Университета

Для этого необходимо всего-лишь оформить студенческую подписку. Год назад Apple ввела возможность оплаты Apple Music за 75 рублей в месяц. У них нет почтового адреса на домене Университета и получить ...

  20.01.2018  Скидки в Cafago на смарт-розетку Koogeek с поддержкой Apple Siri

Несколько дней назад она представила новую модель розетки с поддержкой голосовых помощников, и прямо сейчас ее можно заказать в интернет-магазине Cafago по очень привлекательной цене. Под брендом Koog...



Все новости
ПортКом: Сумки и всевозможные аксессуары для портативной техники