实验与归因
比较消息或场景方案,稳定地为客户分配方案,并阅读目标、收入和报告限制。
本页内容
实验用来比较不同方案,例如弹窗中的两种文案或营销活动的两条路径。你设置各方案的受众比例和目标(如付款),报告再展示各方案的表现。
方案会绑定到客户或一次具体活动运行。同一个事件重复到达时,参与者不会转到另一方案。这是确定性分配:同一参与者反复得到同一方案。
配置版本
设置 2–5 个方案,并把全部受众分配完,合计必须是 100%。API 中比例用基点表示:100 基点等于 1%,总和必须正好为 10,000。可以设置对照组,例如不向其展示消息。然后选择分配单位:
- 用户:同一人始终留在同一方案。
- 路径:同一次活动运行固定在同一路径,同一客户下次运行可能进入别的方案。
分配记录包含实验 ID 和版本,因此按钮点击事件(callback)重复送达,也不会把人换到别的方案。
启动前设置受众、主要目标和附加目标。指定报告中的金额来源及归因窗口,即互动后多长时间内的结果算作该次互动。金额可来自固定值、事件属性、支付或 CRM 商机,取决于设置。实验版本可关联兼容的内容。
版本与生命周期
状态包括草稿、运行中、已暂停、已结束、已取消、已归档。启动时使用当前不可变版本;暂停不会改变已分配方案。结束或取消后可归档。
首次向参与者展示,即产生 exposure 事件后,修改文案或受众比例会创建新版本。旧版仍保留在报告中;比较时请选择对应版本号。胜者由人手动指定一次,归档后仍可看到。选出胜者本身不证明方案差异在统计上可靠。
事件事实与归因
报告可显示方案分配、展示(exposure)、送达、打开、点击、回复、目标达成(转化)、退订和投诉。同一事件重复传送不会重复计数,因为每条事实都有稳定的源事件 ID。
收入按币种分别保存,使用该货币的最小单位。例如 1250 与 EUR 表示 €12.50。集成中的金额使用有符号 64 位整数,币种是 ISO 4217 代码。EUR、RSD、USD 不会悄悄相加。跨币种比较需要另行按指定时点汇率换算。
报告须选择一种归因模型:
- 首次接触:把符合条件的转化归给第一次接触。
- 末次接触:归给最后一次符合条件的接触。
- 实验分配:归给方案分配。
界面和响应会写明模型及该不可变版本的归因窗口,不会在同一汇总中混用不同模型。
警告与用户群
警告提示数据问题:实验仍在运行、某方案展示少于 30 次、已分配却没有记录展示、实际受众比例明显偏离设置、点击或转化数超过展示数。选胜者前应检查送达和事件采集。这些警告不评估统计显著性。
这里的用户群指获分配到某方案的人员列表,可分页查看;API 用游标获取下一页。若按分组筛选报告,使用的是该分组当前已发布的成员,而非实验当天的历史成员。
弹窗与活动兼容性
从旧弹窗统计迁移实验时,须先迁移旧事件。回访者仍保留已展示的方案,避免过程中看到不同优惠。弹窗统计接口保持旧响应格式,并继续使用旧计数,直到新旧统计一致。
活动的分支(split)迁移会记录切换时间(cutover)。此前启动的活动仍沿用旧分配;要等它们结束后才有统一报告,缺失的旧分配无法可靠重建。
API 与 MCP 示例
REST 报告要求具有 experiments:read 的 PAT 和机器人的“分析”权限。时间区间须为有界 UTC RFC3339;示例不含真实令牌或客户资料:
curl -X POST "$BASE_URL/api/bots/$BOT_ID/experiments/$EXPERIMENT_ID/report" \
-H "Authorization: Bearer $PAT" \
-H "Content-Type: application/json" \
-d '{
"version": 2,
"attribution_model": "assignment",
"from": "2026-07-01T00:00:00Z",
"to": "2026-08-01T00:00:00Z",
"segment_id": "00000000-0000-4000-8000-000000000000"
}'
400 表示报告请求无效;404 表示当前机器人无法访问实验或明确指定的版本;409 是乐观锁或选择胜者的冲突,不表示报告版本不存在。方案用户群使用 version、可选 variant、limit 和上一页游标作为查询参数。
MCP 只提供需要 experiments:read 的通用实验只读工具:
{"name":"get_experiment_report","arguments":{"bot_id":"<bot-id>","experiment_id":"<experiment-id>","version":2}}
另外还有 list_experiments 和 get_experiment。MCP 不启动、暂停或编辑实验,不选胜者,也不创建分配或写入事实。