Значимость статистики в веб-аналитики

Статистика Нам всем хотелось бы, чтобы наши ближайшие коллеги — те, кто принимает бизнес-решения, значительно шире использовали бы данные веб-аналитики для принятия более эффективных решений.Как же нам давать рекомендации / принимать решения, будучи твёрдо в них уверенными? Как нам побуждать к действиям, а не просто «сыпать цифрами»? Сложность в том, чтобы отделить Сигнал от Шума и доходчиво продемонстрировать эту разницу.

И здесь нам приходит на помощь совет №1. Используйте мощь Статистики.

Рассмотрим следующий сценарий (A):

Ваша фирма разослала 2 коммерческих предложения потенциальным покупателям. Результаты выглядят следующим образом:

  • На первое предложение ответили: 5300. Сделали заказ: 46. Следовательно процент эффективности: 0,87%
  • На второе предложение ответили: 5200. Сделали заказ: 55. Следовательно процент эффективности: 1,06%

Лучше ли второе предложение, чем первое? Да, у него «лучший» процент эффективности на 0.19%. Сможете ли вы решить, которое из них лучше, когда количество заказов составляет всего 40-50? Мы получили на 9 заказов больше при количестве ответов меньшем на 100.

Применив статистику мы увидим, что разница в результатах у этих двух предложений всего 0,995 стандартного отклонения ^(http://ru.wikipedia.org/wiki/Среднеквадратическое_отклонение) и статистически несущественна. Это означает, что скорее всего причиной этой разницы в результатах явился шум.

Рассмотрим другой сценарий (B):

Ваша фирма разослала 2 коммерческих предложения потенциальным покупателям. Результаты выглядят следующим образом:

  • На первое предложение ответили: 5300. Сделали заказ: 46. Следовательно процент эффективности: 0,87%
  • На второе предложение ответили: 5200. Сделали заказ: 63. Следовательно процент эффективности: 1,21%

Применив статистику теперь, мы увидим, что два значения отстоят друг от друга на 1,74 стандартного отклонения и результаты на 95% статистически значимы. 95%-ная значимость это очень сильный сигнал. Основываясь на этом, мы, имея выборку приблизительно всего в 5000 ответов и 60 с небольшим заказов, и можем уверенно прогнозировать успех.

Сложно ли это? Вовсе нет! Воспользуйтесь этой электронной таблицей: StatCalc.xls. (здесь представлен изначальный файл, и он содержит упоминание автора Брайана Тизли.)

Всё, что нужно сделать — подставить ваши значения в синие ячейки и вы получите результат. Эта методика может с лёгкостью применяться в различных аспектах вашей внутренней аналитики, например:

  • Маркетинговые кампании в поисковых системах
  • Различные предложения и кампании директ-маркетинга
  • Любой анализ процентных долей (% траффика, достигающего цели из исходной точки 1 или из исходной точки 2);
  • Разница в результатах ваших двух- или многовариантных тестов

Вы легко можете адаптировать таблицу, чтобы считать статистическую разницу между абсолютными величинами (скажем вы захотите узнать, существенна ли разница количества просмотров страниц, приходящихся на 1 посетителя или среднего времени посещения между двумя сегментами сайта).

Ощутимые преимущества представления результатов в виде статистической значимости вместо процента эффективности:

  • Вы перестаёте быть частью уравнения. «Согласно богам Статистики, результаты следующие…» — звучит великолепно.
  • Сосредотачиваясь на качестве Сигнала, мы, аналитики, выглядим умнее в глазах других людей.

Вы отметаете всякие обдумывания и вопросы. Либо оно статистически существенно, и мы действуем, либо оно не существенно, и нам стоит попробовать что-то другое. Это уже не отчёт, а руководство к действию.

Два маленьких совета:

  • Принято стремиться к 95% или большей статистической верности. Это не всегда обязательно, но рекомендуется.
  • «Статистика, как бикини: то, что навиду будоражит мысли, но гораздо важнее то, что осталось скрыто.» — Аарон Левенштейн

Согласны? Не согласны? Не такой уж и хороший совет аналитику? Пожалуйста, поделитесь вашим мнением в комментариях.

Excellent Analytics Tip#1: Statistical Significance

ГлавнаяВеб-аналитика → Значимость статистики в веб-аналитики