Cơ sở kiến thức GetMyBot

Thử nghiệm và phân bổ kết quả

So sánh các phương án tin nhắn hoặc kịch bản, giữ một phương án cho mỗi khách và đánh giá kết quả, doanh thu.

Trên trang này

Thử nghiệm giúp so sánh hai nội dung pop-up hoặc hai nhánh chiến dịch. Bạn chia tỷ lệ người nhận cho các phương án và đặt mục tiêu, chẳng hạn thanh toán. Báo cáo cho biết kết quả của từng phương án.

Phương án được gắn với khách hoặc một lần chạy chiến dịch. Nếu cùng sự kiện được gửi lại, khách không bị chuyển sang phương án khác. Đây là phân bổ xác định: cùng đối tượng nhận cùng phương án.

Cấu hình phiên bản

Tạo 2–5 phương án và phân bổ đúng 100% đối tượng. API dùng điểm cơ bản: 100 điểm bằng 1%, tổng phải đúng 10.000. Có thể đặt nhóm đối chứng, ví dụ không hiện thông điệp. Chọn đơn vị nhận phương án:

  • Người dùng: mỗi người luôn ở một phương án.
  • Hành trình: một lần chạy chiến dịch ở một nhánh; lần sau của cùng người có thể vào nhánh khác.

Phương án được lưu cùng ID và phiên bản thử nghiệm. Vì vậy, sự kiện nhấn nút (callback) gửi lại không đổi phương án.

Trước khi chạy, đặt đối tượng, mục tiêu chính và mục tiêu phụ, nguồn lấy doanh thu và cửa sổ phân bổ kết quả, tức khoảng sau tương tác mà kết quả được tính. Tùy cấu hình, giá trị tiền có thể cố định, lấy từ thuộc tính sự kiện, thanh toán hoặc cơ hội CRM. Phiên bản có thể liên kết nội dung tương thích.

Phiên bản và vòng đời

Các trạng thái: bản nháp, đang chạy, tạm dừng, hoàn tất, đã hủy, đã lưu trữ. Khi chạy, thử nghiệm dùng một phiên bản bất biến. Tạm dừng không đổi phương án đã gán. Có thể lưu trữ thử nghiệm đã hoàn tất hoặc đã hủy.

Sau lần hiển thị đầu tiên cho người tham gia (exposure), thay đổi nội dung hoặc tỷ lệ sẽ tạo phiên bản mới. Phiên bản cũ vẫn có báo cáo; hãy chọn đúng số phiên bản khi so sánh. Người thắng được chọn thủ công một lần và vẫn hiển thị sau lưu trữ. Chọn người thắng không chứng minh khác biệt có ý nghĩa thống kê.

Sự kiện và phân bổ kết quả

Báo cáo có số lần gán phương án, hiển thị, giao thành công, mở, nhấn, trả lời, đạt mục tiêu (chuyển đổi), hủy đăng ký và khiếu nại. Sự kiện gửi lặp không tạo bản ghi thứ hai vì mỗi dữ kiện có ID nguồn cố định.

Doanh thu được giữ riêng theo tiền tệ, bằng đơn vị tiền nhỏ nhất. Ví dụ 1250 và EUR là €12,50. Tích hợp gửi số nguyên 64-bit có dấu và mã tiền ISO 4217. EUR, RSD và USD không bị cộng ngầm; so sánh khác tiền tệ cần tỷ giá ở thời điểm xác định.

Chọn một mô hình phân bổ cho báo cáo:

  • Tiếp xúc đầu gán chuyển đổi cho tương tác phù hợp đầu tiên.
  • Tiếp xúc cuối gán cho tương tác phù hợp cuối.
  • Gán phương án thử nghiệm gán cho lần nhận phương án.

Giao diện và API nêu rõ mô hình cùng cửa sổ phân bổ của phiên bản bất biến. Không trộn nhiều mô hình vào một tổng.

Cảnh báo và nhóm người

Cảnh báo chỉ ra vấn đề dữ liệu: thử nghiệm còn chạy, phương án có dưới 30 lần hiển thị, đã gán nhưng chưa ghi nhận hiển thị, tỷ lệ thực khác mạnh so với cấu hình hoặc số nhấn/chuyển đổi nhiều hơn hiển thị. Trước khi chọn người thắng, kiểm tra việc giao và ghi sự kiện. Những cảnh báo này không kiểm định ý nghĩa thống kê.

Nhóm người ở đây là những khách đã nhận một phương án. Có thể xem theo trang; API dùng cursor cho trang tiếp. Nếu lọc báo cáo theo phân khúc, hệ thống dùng thành phần đã xuất bản hiện tại, không phải danh sách vào ngày thử nghiệm.

Tương thích pop-up và chiến dịch

Khi chuyển thử nghiệm pop-up từ hệ thống đếm cũ, cần chuyển các sự kiện cũ trước. Khách quay lại vẫn thấy phương án đã được gán để nội dung không đổi giữa hành trình. Thống kê pop-up giữ định dạng câu trả lời và bộ đếm cũ đến khi số liệu cũ và mới khớp.

Với nhánh split của chiến dịch, hệ thống lưu thời điểm đổi sang cách đếm mới (cutover). Lần chạy bắt đầu trước đó giữ phân bổ cũ. Báo cáo chung chỉ có sau khi các lần chạy này kết thúc, vì không thể khôi phục đáng tin cậy những lần gán cũ bị thiếu.

Ví dụ API và MCP

Báo cáo REST cần PAT có experiments:read và quyền Phân tích của bot. Khoảng thời gian phải hữu hạn theo RFC3339 UTC. Ví dụ chỉ dùng giá trị giữ chỗ:

curl -X POST "$BASE_URL/api/bots/$BOT_ID/experiments/$EXPERIMENT_ID/report" \
  -H "Authorization: Bearer $PAT" \
  -H "Content-Type: application/json" \
  -d '{
    "version": 2,
    "attribution_model": "assignment",
    "from": "2026-07-01T00:00:00Z",
    "to": "2026-08-01T00:00:00Z",
    "segment_id": "00000000-0000-4000-8000-000000000000"
  }'

400 là yêu cầu báo cáo sai. 404 nghĩa là thử nghiệm hoặc phiên bản được chỉ định không có trong bot. 409 là xung đột khi cập nhật hoặc chọn người thắng, không phải phiên bản báo cáo không tồn tại. Để đọc nhóm người đã nhận phương án, dùng query version, variant tùy chọn, limit và cursor của trang trước.

MCP chỉ cung cấp công cụ đọc với cùng scope experiments:read:

{"name":"get_experiment_report","arguments":{"bot_id":"<bot-id>","experiment_id":"<experiment-id>","version":2}}

Còn có list_experiments và get_experiment. MCP không chạy, tạm dừng hoặc sửa thử nghiệm, không chọn người thắng, tạo lần gán hay ghi sự kiện.

Tài liệu liên quan