База знаний GetMyBot

Эксперименты и атрибуция

Как сравнить варианты сообщения или сценария, закрепить вариант за клиентом и оценить результат. Показатели, доход и ограничения отчёта.

На этой странице

Эксперимент помогает сравнить варианты: например, два текста предложения во всплывающем окне или две ветки кампании. Вы задаёте долю аудитории для каждого варианта и цель, например оплату. Отчёт показывает, как сработал каждый вариант.

Вариант закрепляется за клиентом или отдельным запуском кампании. Если одно и то же событие поступит повторно, человек не перейдёт в другой вариант. Так работает детерминированное распределение: один и тот же участник получает тот же вариант.

Настройка версии

Добавьте от двух до пяти вариантов и распределите между ними всю аудиторию, ровно 100%. В API доли задаются в базисных пунктах: 100 пунктов равны 1%, общая сумма должна быть ровно 10 000. Можно выделить контрольную группу, которой, например, сообщение не показывают. Затем выберите, за кем закреплять вариант:

  • Пользователь: один человек остаётся в одном варианте.
  • Путь: один запуск кампании остаётся в своей ветке, а следующий запуск для того же клиента может получить другой вариант.

Назначение варианта сохраняется вместе с версией эксперимента и его идентификатором. Поэтому повторное событие нажатия кнопки (callback) не переводит участника в другой вариант.

До запуска задайте аудиторию, главную и дополнительные цели. Укажите, откуда брать денежную сумму для отчёта, и окно атрибуции: срок после взаимодействия, в течение которого засчитывается результат. В зависимости от настроек суммой может быть постоянное значение, свойство события, платёж или сделка CRM. Версия эксперимента может ссылаться на совместимый контент.

Версии и жизненный цикл

Статусы: черновик, запущен, приостановлен, завершён, отменён, архивирован. Запуск использует текущую неизменяемую версию; приостановка не меняет её назначение. Завершённый или отменённый эксперимент можно архивировать.

После первого показа участнику, события exposure, изменение текста или распределения создаёт новую версию. Прежняя версия остаётся в отчёте. При сравнении результатов выбирайте нужный номер версии. Победителя назначают вручную один раз; выбор виден и после архивации. Он сам по себе не доказывает, что различие между вариантами статистически надёжно.

Факты и атрибуция

В отчёте доступны назначения варианта, показы (exposure), доставки, открытия, нажатия, ответы, достижения цели (конверсии), отписки и жалобы. Повторная передача одного события не добавляет его второй раз: у каждого факта есть постоянный ID исходного события. Доход хранится отдельно по валютам в их минимальных денежных единицах: например, 1250 и EUR означают €12,50. Для интеграций сумма передаётся как знаковое 64-битное число, валюта – кодом ISO 4217.

Доход группируется по валютам. EUR, RSD и USD никогда не складываются молча. Для межвалютного сравнения нужен отдельный процесс с курсом на конкретный момент времени.

Для отчёта выберите одну модель атрибуции:

  • Первое касание относит подходящую конверсию к первому касанию.
  • Последнее касание относит её к последнему подходящему касанию.
  • Назначение эксперимента относит её к назначению варианта.

В интерфейсе и ответе явно указаны выбранная модель и окно атрибуции неизменяемой версии. Модели не смешиваются в одном итоге.

Предупреждения и когорты

Предупреждения помогают заметить проблемы с данными: эксперимент ещё идёт, у варианта меньше 30 показов, вариант назначен, но показ не зарегистрирован, доли аудитории сильно отклонились от заданных или кликов и конверсий больше, чем показов. Перед выбором победителя проверьте доставку и регистрацию событий. Эти проверки не оценивают статистическую значимость различий.

Когорта здесь – список людей, получивших вариант. Его можно просматривать постранично; в API для следующей страницы передаётся курсор. Если отфильтровать отчёт по сегменту, используется его текущий опубликованный состав, а не состав на дату эксперимента.

Совместимость поп-апов и кампаний

Если эксперимент переносится из прежней системы учёта всплывающих окон, прежние события нужно сначала перенести. У возвращающегося посетителя сохраняется уже показанный вариант, чтобы предложение не изменилось посреди пути. Статистика всплывающего окна сохраняет прежний формат ответа и использует старые счётчики, пока новый и старый подсчёт не совпадут.

Для разделения кампании на ветки (split) сохраняется время перехода на новый учёт (cutover). Запуски, начавшиеся раньше, продолжают прежнее распределение. Общий отчёт станет доступным после их завершения: отсутствующие старые назначения нельзя достоверно восстановить.

Примеры API и MCP

REST-отчёт требует PAT с experiments:read и правом бота «Аналитика». Диапазон: ограниченный RFC3339 UTC, в JSON нет реального токена или данных клиента.

curl -X POST "$BASE_URL/api/bots/$BOT_ID/experiments/$EXPERIMENT_ID/report" \
  -H "Authorization: Bearer $PAT" \
  -H "Content-Type: application/json" \
  -d '{
    "version": 2,
    "attribution_model": "assignment",
    "from": "2026-07-01T00:00:00Z",
    "to": "2026-08-01T00:00:00Z",
    "segment_id": "00000000-0000-4000-8000-000000000000"
  }'

400 означает неверный запрос отчёта. 404 означает, что эксперимент или явно запрошенная версия недоступны в этом боте. 409 относится к конфликту оптимистичного обновления или выбору победителя, но не к отсутствующей версии отчёта. Когорту назначений читают с query-параметрами version, необязательным variant, limit и курсором из предыдущей страницы.

MCP публикует только read-only инструменты общего эксперимента с тем же scope experiments:read:

{"name":"get_experiment_report","arguments":{"bot_id":"<bot-id>","experiment_id":"<experiment-id>","version":2}}

Также доступны list_experiments и get_experiment. MCP не запускает и не приостанавливает эксперимент, не редактирует его, не выбирает победителя, не создаёт назначения и не записывает факты.

Связанные материалы