Эксперименты и атрибуция
Как сравнить варианты сообщения или сценария, закрепить вариант за клиентом и оценить результат. Показатели, доход и ограничения отчёта.
На этой странице
Эксперимент помогает сравнить варианты: например, два текста предложения во всплывающем окне или две ветки кампании. Вы задаёте долю аудитории для каждого варианта и цель, например оплату. Отчёт показывает, как сработал каждый вариант.
Вариант закрепляется за клиентом или отдельным запуском кампании. Если одно и то же событие поступит повторно, человек не перейдёт в другой вариант. Так работает детерминированное распределение: один и тот же участник получает тот же вариант.
Настройка версии
Добавьте от двух до пяти вариантов и распределите между ними всю аудиторию, ровно 100%. В API доли задаются в базисных пунктах: 100 пунктов равны 1%, общая сумма должна быть ровно 10 000. Можно выделить контрольную группу, которой, например, сообщение не показывают. Затем выберите, за кем закреплять вариант:
- Пользователь: один человек остаётся в одном варианте.
- Путь: один запуск кампании остаётся в своей ветке, а следующий запуск для того же клиента может получить другой вариант.
Назначение варианта сохраняется вместе с версией эксперимента и его идентификатором. Поэтому повторное событие нажатия кнопки (callback) не переводит участника в другой вариант.
До запуска задайте аудиторию, главную и дополнительные цели. Укажите, откуда брать денежную сумму для отчёта, и окно атрибуции: срок после взаимодействия, в течение которого засчитывается результат. В зависимости от настроек суммой может быть постоянное значение, свойство события, платёж или сделка CRM. Версия эксперимента может ссылаться на совместимый контент.
Версии и жизненный цикл
Статусы: черновик, запущен, приостановлен, завершён, отменён, архивирован. Запуск использует текущую неизменяемую версию; приостановка не меняет её назначение. Завершённый или отменённый эксперимент можно архивировать.
После первого показа участнику, события exposure, изменение текста или распределения создаёт новую версию. Прежняя версия остаётся в отчёте. При сравнении результатов выбирайте нужный номер версии. Победителя назначают вручную один раз; выбор виден и после архивации. Он сам по себе не доказывает, что различие между вариантами статистически надёжно.
Факты и атрибуция
В отчёте доступны назначения варианта, показы (exposure), доставки, открытия, нажатия, ответы, достижения цели (конверсии), отписки и жалобы. Повторная передача одного события не добавляет его второй раз: у каждого факта есть постоянный ID исходного события. Доход хранится отдельно по валютам в их минимальных денежных единицах: например, 1250 и EUR означают €12,50. Для интеграций сумма передаётся как знаковое 64-битное число, валюта – кодом ISO 4217.
Доход группируется по валютам. EUR, RSD и USD никогда не складываются молча. Для межвалютного сравнения нужен отдельный процесс с курсом на конкретный момент времени.
Для отчёта выберите одну модель атрибуции:
- Первое касание относит подходящую конверсию к первому касанию.
- Последнее касание относит её к последнему подходящему касанию.
- Назначение эксперимента относит её к назначению варианта.
В интерфейсе и ответе явно указаны выбранная модель и окно атрибуции неизменяемой версии. Модели не смешиваются в одном итоге.
Предупреждения и когорты
Предупреждения помогают заметить проблемы с данными: эксперимент ещё идёт, у варианта меньше 30 показов, вариант назначен, но показ не зарегистрирован, доли аудитории сильно отклонились от заданных или кликов и конверсий больше, чем показов. Перед выбором победителя проверьте доставку и регистрацию событий. Эти проверки не оценивают статистическую значимость различий.
Когорта здесь – список людей, получивших вариант. Его можно просматривать постранично; в API для следующей страницы передаётся курсор. Если отфильтровать отчёт по сегменту, используется его текущий опубликованный состав, а не состав на дату эксперимента.
Совместимость поп-апов и кампаний
Если эксперимент переносится из прежней системы учёта всплывающих окон, прежние события нужно сначала перенести. У возвращающегося посетителя сохраняется уже показанный вариант, чтобы предложение не изменилось посреди пути. Статистика всплывающего окна сохраняет прежний формат ответа и использует старые счётчики, пока новый и старый подсчёт не совпадут.
Для разделения кампании на ветки (split) сохраняется время перехода на новый учёт (cutover). Запуски, начавшиеся раньше, продолжают прежнее распределение. Общий отчёт станет доступным после их завершения: отсутствующие старые назначения нельзя достоверно восстановить.
Примеры API и MCP
REST-отчёт требует PAT с experiments:read и правом бота «Аналитика».
Диапазон: ограниченный RFC3339 UTC, в JSON нет реального токена или данных
клиента.
curl -X POST "$BASE_URL/api/bots/$BOT_ID/experiments/$EXPERIMENT_ID/report" \
-H "Authorization: Bearer $PAT" \
-H "Content-Type: application/json" \
-d '{
"version": 2,
"attribution_model": "assignment",
"from": "2026-07-01T00:00:00Z",
"to": "2026-08-01T00:00:00Z",
"segment_id": "00000000-0000-4000-8000-000000000000"
}'
400 означает неверный запрос отчёта. 404 означает, что эксперимент или
явно запрошенная версия недоступны в этом боте. 409 относится к конфликту
оптимистичного обновления или выбору победителя, но не к отсутствующей версии
отчёта. Когорту назначений читают с query-параметрами version, необязательным
variant, limit и курсором из предыдущей страницы.
MCP публикует только read-only инструменты общего эксперимента с тем же scope
experiments:read:
{"name":"get_experiment_report","arguments":{"bot_id":"<bot-id>","experiment_id":"<experiment-id>","version":2}}
Также доступны list_experiments и get_experiment. MCP не запускает и не
приостанавливает эксперимент, не редактирует его, не выбирает победителя, не
создаёт назначения и не записывает факты.