Нам всем хотелось бы, чтобы наши ближайшие коллеги — те, кто принимает бизнес-решения, значительно шире использовали бы данные веб-аналитики для принятия более эффективных решений.Как же нам давать рекомендации / принимать решения, будучи твёрдо в них уверенными? Как нам побуждать к действиям, а не просто «сыпать цифрами»? Сложность в том, чтобы отделить Сигнал от Шума и доходчиво продемонстрировать эту разницу.
И здесь нам приходит на помощь совет №1. Используйте мощь Статистики.
Рассмотрим следующий сценарий (A):
Ваша фирма разослала 2 коммерческих предложения потенциальным покупателям. Результаты выглядят следующим образом:
- На первое предложение ответили: 5300. Сделали заказ: 46. Следовательно процент эффективности: 0,87%
- На второе предложение ответили: 5200. Сделали заказ: 55. Следовательно процент эффективности: 1,06%
Лучше ли второе предложение, чем первое? Да, у него «лучший» процент эффективности на 0.19%. Сможете ли вы решить, которое из них лучше, когда количество заказов составляет всего 40-50? Мы получили на 9 заказов больше при количестве ответов меньшем на 100.
Применив статистику мы увидим, что разница в результатах у этих двух предложений всего 0,995 стандартного отклонения ^(https://ru.wikipedia.org/wiki/Среднеквадратическое_отклонение) и статистически несущественна. Это означает, что скорее всего причиной этой разницы в результатах явился шум.
Рассмотрим другой сценарий (B):
Ваша фирма разослала 2 коммерческих предложения потенциальным покупателям. Результаты выглядят следующим образом:
- На первое предложение ответили: 5300. Сделали заказ: 46. Следовательно процент эффективности: 0,87%
- На второе предложение ответили: 5200. Сделали заказ: 63. Следовательно процент эффективности: 1,21%
Применив статистику теперь, мы увидим, что два значения отстоят друг от друга на 1,74 стандартного отклонения и результаты на 95% статистически значимы. 95%-ная значимость это очень сильный сигнал. Основываясь на этом, мы, имея выборку приблизительно всего в 5000 ответов и 60 с небольшим заказов, и можем уверенно прогнозировать успех.
Сложно ли это? Вовсе нет! Воспользуйтесь этой электронной таблицей: StatCalc.xls. (здесь представлен изначальный файл, и он содержит упоминание автора Брайана Тизли.)
Всё, что нужно сделать — подставить ваши значения в синие ячейки и вы получите результат. Эта методика может с лёгкостью применяться в различных аспектах вашей внутренней аналитики, например:
- Маркетинговые кампании в поисковых системах
- Различные предложения и кампании директ-маркетинга
- Любой анализ процентных долей (% траффика, достигающего цели из исходной точки 1 или из исходной точки 2);
- Разница в результатах ваших двух- или многовариантных тестов
Вы легко можете адаптировать таблицу, чтобы считать статистическую разницу между абсолютными величинами (скажем вы захотите узнать, существенна ли разница количества просмотров страниц, приходящихся на 1 посетителя или среднего времени посещения между двумя сегментами сайта).
Ощутимые преимущества представления результатов в виде статистической значимости вместо процента эффективности:
- Вы перестаёте быть частью уравнения. «Согласно богам Статистики, результаты следующие…» — звучит великолепно.
- Сосредотачиваясь на качестве Сигнала, мы, аналитики, выглядим умнее в глазах других людей.
Вы отметаете всякие обдумывания и вопросы. Либо оно статистически существенно, и мы действуем, либо оно не существенно, и нам стоит попробовать что-то другое. Это уже не отчёт, а руководство к действию.
Два маленьких совета:
- Принято стремиться к 95% или большей статистической верности. Это не всегда обязательно, но рекомендуется.
- «Статистика, как бикини: то, что навиду будоражит мысли, но гораздо важнее то, что осталось скрыто.» — Аарон Левенштейн
Согласны? Не согласны? Не такой уж и хороший совет аналитику? Пожалуйста, поделитесь вашим мнением в комментариях.
Excellent Analytics Tip#1: Statistical Significance
