Сэмплирование данных что это

Сэмплирование и точность вычислений

Ряд моих коллег сталкиваются с проблемой, что для расчета какой-то метрики, например, коэффициента конверсии, приходится кверить всю базу данных. Или нужно провести детальное исследование по каждому клиенту, где клиентов миллионы. Такого рода квери могут работать довольно долго, даже в специально сделанных для этого хранилищах. Не очень-то прикольно ждать по 5-15-40 минут, пока считается простая метрика, чтобы выяснить, что тебе нужно посчитать что-то другое или добавить что-то еще.

Одним из решений этой проблемы является сэмплирование: мы не пытаемся вычислить нашу метрику на всем массиве данных, а берем подмножество, которое репрезентативно представляет нам нужные метрики. Это сэмпл может быть в 1000 раз меньше нашего массива данных, но при этом достаточно хорошо показывать нужные нам цифры.

В этой статье я решил продемонстрировать, как размеры выборки сэмплирования влияют на ошибку конечной метрики.

Проблема

Ключевой вопрос: насколько хорошо сэмпл описывает «генеральную совокупность»? Раз мы берем сэмпл с общего массива, то получаемые нами метрики оказываются случайными величинами. Разные сэмплы дадут нам разные результаты метрик. Разные, не значит любые. Теория вероятности говорит нам, что получаемые сэмплированием значения метрики должны группироваться вокруг истинного значения метрики (сделанного по всей выборке) с определенным уровнем ошибки. При этом у нас часто бывают задачи, где для решения можно обойтись разным уровнем ошибки. Одно дело прикинуть, получаем ли мы конверсию 50% или 10%, а другое дело получить результат с точностью 50.01% vs 50.02%.

Интересно, что с точки зрения теории, наблюдаемый нами коэффициент конверсии по всей выборке — это тоже случайная величина, т.к. «теоретический» коэффициент конверсии можно посчитать только на выборке бесконечного размера. Это означает, что даже все наши наблюдения в БД на самом деле дают оценку конверсии со своей точностью, хотя нам кажется, что вот эти наши подсчитанные цифры абсолютно точны. Это так же приводит к выводу, что даже если сегодня коэффициент конверсии отличается от вчерашнего, то это еще не означает, что у нас что-то поменялось, а лишь означает, что сегодняшний сэмпл (все наблюдения в БД) из генеральной совокупности (все возможные наблюдения за этот день, которые произошли и не произошли) дал несколько иной результат, чем вчерашний. Во всяком случае для любого честного продукта или аналитика это должно быть базовой гипотезой.

Формулировка задачи

Допустим у нас 1 000 000 записей в БД вида 0/1, которые говорят нам о том, случилась ли конверсия по событию. Тогда коэффициент конверсии это просто сумма 1 делить на 1 млн.

Вопрос: если мы возьмем выборку размером N, то на сколько и с какой вероятностью будет отличатся коэффициент конверсии от посчитанного по всей выборке?

Теоретические рассуждения

Задача сводится к расчету доверительного интервала коэффициента конверсии по выборке заданного размера для биноминального распределения.

Из теории стандартное отклонение для биноминального распределения это:
S = sqrt(p * (1 — p) /N)

Где
p — коэффициент конверсии
N — Размер выборки
S — стандартное отклонение

Непосредственно доверительный интервал я считать из теории не стану. Там довольно сложный и запутанный матан, который в итоге связывает стандартное отклонение и конечную оценку доверительного интервала.

Давайте разовьем «интуицию» по поводу формулы стандартного отклонения:

Моделирование

Мы можем полностью отойти от теоретического решения и решить задачу «в лоб». Благодаря языку R теперь это сделать очень просто. Чтобы ответить на вопрос, в какую мы ошибку получим при сэмплировании, можно просто сделать тысячу сэмплирований и посмотреть, какую ошибку мы получаем.

Код на R генерирующий данные:

В результате мы получаем следующую таблицу (дальше будут графики, но детали лучше видны в таблице).

Посмотрим случаи с 10% конверсией и с низкой 0.01% конверсией, т.к. на них хорошо видны все особенности работы с сэмплированием.

При 10% конверсии картина выглядит довольно простой:

Точки — это края 5-95% доверительного интервала, т.е. делая сэмпл мы будем в 90% случаев получать CR на выборке внутри этого интервала. Вертикальная шкала — размер сэмпла (шкала логарифмическая), горизонтальная — значение коэффициента конверсии. Вертикальная черта — «истинный» CR.

Мы тут видим то же, что мы видели из теоретической модели: точность растет по мере роста размера сэмпла, при этом одна довольно быстро «сходится» и сэмпл получает результат близкий к «истинному». Всего на 1000 сэмпле мы имеем 8.6% — 11.7%, что для ряда задач будет достаточно. А на 10 тысячах уже 9.5% — 10.55%.

Куда хуже дела обстоят с редкими событиями и это согласуется с теорией:

У низкого коэффициента конверсии в 0.01% принципе проблемы на статистике в 1 млн наблюдений, а с сэмплами ситуация оказывается еще хуже. Ошибка становится просто гигантской. На сэмплах до 10 000 метрика в принципе не валидна. Например, на сэмпле в 10 наблюдений мой генератор просто 1000 раз получил 0 конверсию, поэтому там только 1 точка. На 100 тысячах мы имеем разброс от 0.005% до 0.0016%, т.е мы можем ошибаться почти в половину коэффициента при таком сэмплировании.

Также стоит отметить, что когда вы наблюдаете конверсию такого маленького масштаба на 1 млн испытаний, то у вас просто большая натуральная ошибка. Из этого следует, что выводы по динамике таких редких событий надо делать на действительно больших выборках иначе вы просто гоняетесь за призраками, за случайными флуктуациями в данных.

Источник

Как избежать семплирования в Google Analytics

Соберите все данные для сквозной аналитики вместе с OWOX BI

Соберите все данные для сквозной аналитики вместе с OWOX BI

Семплирование помогает сделать обобщенные выводы, когда невозможно или нецелесообразно анализировать все собранные данные. Google Analytics выбирает из всего объема данных лишь какую-то часть и использует ее для построения отчетов.

Семплирование характерно не только для GA — его используют в опросах общественного мнения, потребительских тестах, статистических исследованиях и т. д. Каждый раз, когда применяется семплирование, есть риск получить неточные результаты. В этой статье вы узнаете, каковы причины и проблемы семплирования, и как его избежать.

бонус для читателей

Сравнительная таблица: 8 способов избежать семплирования

Содержание

Когда и почему происходит семплирование

Обрабатывать огромные массивы данных за максимально короткое время — непростая задача даже для Google. Чтобы снизить нагрузку на серверы и достичь баланса между скоростью и точностью обработки, Google Analytics анализирует лишь часть данных.

Как понять, что применялась выборка? Наведите курсор на значок щита в верхней части отчета, и вы увидите сообщение «Отчет создан на основе анализа N% от общего числа сеансов». Если цифра меньше 100%, значит данные семплированные.

Обычно это происходит, если количество сессий за выбранный период превышает 500 тыс. Однако стоит помнить, что семплирование зависит не только от количества сеансов в отчетах. Чем сложнее запрос, тем выше риск получить неточные данные. При этом в разных отчетах GA принцип выборки отличается.

Отчеты по умолчанию (Default Reports)

В стандартных отчетах из разделов «Аудитория», «Источники трафика», «Поведение» и «Конверсии» семплирование не применяется. Почему так происходит? Для каждого ресурса в Google Analytics сохраняется полный набор данных. В свою очередь, для каждого представления в ресурсе создаются агрегированные таблицы с комбинациями определенных параметров и показателей, взятых из полных данных. Информация в агрегированных таблицах обновляется ежедневно. Это значит, что показатели для параметров в отчетах по умолчанию уже рассчитаны, и построение отчета не займет много времени.

На скриншоте ниже стандартный отчет, основанный на полных данных без семплирования:

Быстрые отчеты (Ad-hoc Reports)

Когда вы вносите изменения в отчет по умолчанию: применяете сегмент, фильтр или добавляете параметр, Google Analytics отправляет запрос к данным в агрегированных таблицах. То же самое происходит при создании пользовательских отчетов с комбинациями параметров и показателей, которых нет в отчетах по умолчанию.

Если запрашиваемой информации нет в таблицах, GA обращается к необработанным данным. Если в выбранном периоде было больше 500 тыс. сессий, данные в отчете семплируются. Однако, в некоторых случаях семплирование в быстрых отчетах может применяться и на меньшем количестве сессий — это зависит от сложности запроса, используемых в отчете фильтров и сегментов.

Вот пример отчета на основе семплированных данных:

Визуализация переходов (Flow-visualization Reports)

В отчетах «Карта поведения», «Карта событий», «Карта целей», «Пути пользователей» и других картах переходов Google Analytics обрабатывает максимум 100 тыс. сессий. Выше этого порога данные всегда семплируются. Поскольку отчеты с визуализацией переходов и отчеты по умолчанию строятся на выборках разных размеров, одни и те же метрики в них могут не совпадать.

Так выглядит отчет «Карта целей», основанный на семплированных данных:

Отчеты по многоканальным последовательностям и атрибуции

В отчетах по многоканальным последовательностям и атрибуции (Multi-Channel Funnel and Attribution Reports) выборка не применяется, если вы не измените отчет каким-либо образом, например, добавив сегмент или параметр. В противном случае лимит семплирования составит 1 млн конверсий.

В чем минусы семплирования

Если размер выборки, скажем, 90% сессий, то информация в ваших отчетах, скорее всего, будет надежной. Однако чем ниже процент данных, используемый для анализа, тем менее точными будут результаты. Допустим, вы видите отчет, основанный на 1% от 100 сессий. Это значит, что Google Analytics проанализировал 1% сессий, умножил результат на 100 и выдал его в отчете. Насколько объективной будет ваша оценка, еслии 99% данных остались покрыты мраком? Вопрос риторический.

Не видя всей картины, вы не можете полностью доверять своим данным. Когда производитель зубной пасты утверждает, что 8 из 10 стоматологов рекомендуют ее как лучшую, откуда нам знать, сколько всего врачей опросили? Вдруг специально выбрали лояльных стоматологов, чтобы обеспечить нужное мнение. Ваш мозг читает «8 из 10» и интерпретирует это как 80%, хотя многое осталось за кадром. При семплировании Google Analytics работает так же.

Семплирование — небольшая проблема, если вы смотрите только на количество сессий. Однако, когда речь идет о показателях, связанных с деньгами, таких как цели, конверсии и доход, выборка может стоить вам целое состояние. Семплированные отчеты искажают показатели. Из-за этого вы рискуете не заметить рекламу, которая приносит прибыль, или наоборот — тратить деньги на неэффективные кампании.

Как избежать семплирования

Стоит ли бороться с семплированием, зависит от того, какой уровень погрешности вы допускаете в отчетах. Если вы считаете, что выборка стала проблемой, вот несколько советов, как ее избежать или минимизировать.

В интерфейсе Google Analytics

Начнем со способов, для которых не нужны дополнительные инструменты — вы можете обойти семплирование с помощью настроек в аккаунте Google Analytics.

1. Сократить отчетный период

Чем длиннее период в отчете, тем больше данных нужно обработать Google Analytics, и тем выше риск семплирования. И наоборот — за срок покороче можно получить более точные данные. Например, вам нужен отчет за полгода, но GA семплирует данные из-за высокого количества сессий. Если за месяц у вас в ресурсе собирается меньше 500 тыс. посещений, попробуйте просмотреть данные за каждый месяц и сложить результаты.

2. Не использовать быстрые отчеты

Иногда у аналитиков возникает соблазн использовать индивидуальные, быстрые отчеты, хотя зачастую ту же информацию можно посмотреть в отчетах по умолчанию. Как мы писали выше, в большинстве стандартных отчетов Google Analytics выборка не применяется. Это значит, что избегая сегменты и дополнительные параметры в отчетах, можно получить более точные цифры.

Например, вы хотите оценить объем органического трафика на сайт. Можно применить сегмент «Бесплатный трафик» в отчете «Страницы входа», а можно открыть стандартный отчет «Каналы» и посмотреть на органический трафик с основным параметром «Страницы входа». В первом случае данные могут семплироваться, а во втором вы увидите отчет на основе 100% сессий.

Следует упомянуть, что отчет по умолчанию за день может содержать максимум 50 тыс. строк. В быстрых отчетах этот лимит — 1 млн строк в день. Когда количество строк в отчетах превышает этот порог, то Google Analytics объединяет все оставшиеся данные в строку «Другие».

3. Настроить фильтры на уровне представления

Google Analytics семплирует данные после применения фильтров уровня представления. То есть выборка делается из сеансов, которые прошли через фильтр. Вы можете избежать семплирования, собирая в представлении только необходимые данные и отсекая все лишнее. Например, вы хотите увидеть, сколько посетителей зашли на сайт благодаря поисковым запросам, а использование сегмента «Бесплатный трафик» приводит к семплированию. В таком случае можно создать дублирующее представление и применить к нему фильтр, чтобы видеть только органический трафик:

Этот подход — не панацея для быстрых запросов, так как в них все еще может применяться выборка при больших объемах данных. Зато отчеты по умолчанию точно предоставят вам достоверную несемплированную информацию.

Обратите внимание, что не рекомендуется фильтровать данные по параметрам уровня страницы. Скажем, у вас Ecommerce-сайт с различными категориями продуктов и страницами. Если вы используете разные представления для каждого типа страницы, сессия одного пользователя может быть учтена в разных представлениях. Из-за этого общее количество сеансов может сильно завышаться.

4. Создать отдельный ресурс для каждого сайта

Общепринятая практика — отслеживать несколько сайтов в одном ресурсе Google Analytics и использовать фильтры, если нужно посмотреть на данные конкретного сайта. Чем больше данных вы собираете в одном ресурсе, тем выше риск получить отчет с выборкой. Если это ваш случай, используйте отдельный ресурс для каждого сайта. Это уменьшит объем трафика в ресурсе, а с ним — и риск семплирования.

Вне интерфейса Google Analytics

Также можно избежать семплирования, выгрузив данные из GA в Google BigQuery или Google Sheets. Имейте в виду, что невозможно извлечь необработанные демографические данные из Google Analytics, так как система их всегда агрегирует.

1. Использовать OWOX BI Pipeline

OWOX BI собирает данные в Google BigQuery непосредственно с сайта. Сервис не зависит от ограничений Google Analytics, что позволит вам строить отчеты без семплирования и по любым параметрам.

При этом OWOX BI использует структуру данных, совместимую со структурой Google Analytics, под которую написано множество примеров SQL-запросов. Это сэкономит время вашей команды на подготовку отчетов.

OWOX BI Pipeline Как получить несемплированные данные из Google Analytics

Собирая сырые данные с помощью OWOX BI, вы сможете:

Подробнее о всех преимуществах сбора данных с сайта с помощью OWOX BI читайте в статье «Как обойти семплирование и собрать полные данные для продвинутой аналитики».

Вы можете бесплатно попробовать все возможности OWOX BI

2. Использовать Google Analytics API

Еще один способ решить проблему с семплированием — обращаться к данным программно через Reporting API. Да, ответы API могут содержать семплированные данные, если выбран длительный период времени. Однако API позволяет вам указать, сколько данных вы хотите получить в одном запросе, а также установить уровень семплирования. Если у сайта высокий трафик, вам понадобится выполнить сотни запросов, чтобы извлечь все данные без семплирования. API позволяет отправлять до 50 тыс. запросов в день на один проект и возвращает до 10 тыс. строк на запрос.

Недостаток этого подхода в том, что он отнимает много времени. Невозможно запускать тысячи ежедневных запросов вручную, поэтому для автоматизации процесса требуются навыки программирования. Кроме того, API позволяет получить максимум 7 параметров и 10 показателей в одном отчете:

При этом в запросе всегда должен быть хотя бы один показатель, и не все параметры можно запрашивать вместе. Узнать больше о Reporting API вы можете в руководстве Google для разработчиков.

3. Использовать аддон Google Analytics Spreadsheet

Официальный аддон позволяет автоматически и без программирования получать данные из Google Analytics в Google Sheets, рассчитывать новые параметры и метрики, строить отчеты и делиться им с партнерами и коллегами. У дополнения есть еще одно преимущество: с его помощью можно выгрузить до 9 параметров, что на 2 больше, чем через Reporting API.

Однако Google Analytics Spreadsheet имеет ограничение — 400 тыс. ячеек в одной таблице. Из-за чего выгрузить и обработать большие объемы данных не получится.

4. Перейти на Google Analytics 360

В платной версии Google Analytics предусмотрено несколько решений для борьбы с выборкой:

Благодаря высокому лимиту выборки в Google Analytics 360 ваши отчеты будут содержать полные данные:

Google Analytics 360 — это решение для крупного бизнеса, которое требует значительных вложений. О переходе на платную версию стоит задуматься, если ваш сайт получает более 10 млн хитов в месяц, семплирование постоянно искажает данные, а годовой доход позволяет инвестировать в лицензию. Подробнее о том, как рассчитывается стоимость GA 360, мы рассказали на вебинаре.

Подводя итоги, мы собрали в одну таблицу все способы обойти семплирование, их плюсы, минусы и рекомендуемый объем данных. Подберите решение, которое подойдет именно вам.

бонус для читателей

Сравнительная таблица: 8 способов избежать семплирования

А как вы решаете проблему семплирования? Делитесь идеями и оставляйте вопросы в комментариях.

Источник