Eksperimen dan cara menghitung hasilnya
Bandingkan beberapa versi pesan atau alur, pertahankan pilihan untuk tiap pelanggan, lalu baca hasilnya.
Di halaman ini
Eksperimen membantu Anda membandingkan beberapa pilihan, misalnya dua teks penawaran pada jendela pop-up atau dua cabang kampanye. Anda menentukan bagian audiens untuk setiap pilihan dan tujuan yang ingin dicapai, misalnya pembayaran. Laporan kemudian menunjukkan hasil masing-masing pilihan.
Pilihan ditetapkan untuk seorang pelanggan atau satu pelaksanaan kampanye. Jika peristiwa yang sama diterima lagi, orang itu tidak dipindahkan ke pilihan lain. Aturan ini disebut pembagian tetap: peserta yang sama mendapat pilihan yang sama.
Mengatur versi eksperimen
Buat dua sampai lima pilihan dan bagikan seluruh audiens di antaranya, tepat 100%. Dalam API, pembagian ditulis dalam satuan basis poin: 100 poin berarti 1%, sehingga jumlahnya harus tepat 10.000. Anda dapat menyisihkan kelompok kontrol, misalnya orang yang tidak melihat pesan. Lalu pilih dasar penetapan pilihan:
- Pengguna: satu orang tetap berada pada pilihan yang sama.
- Perjalanan: satu pelaksanaan kampanye tetap pada cabangnya; pelaksanaan berikutnya untuk pelanggan yang sama dapat mendapat pilihan berbeda.
Penetapan pilihan disimpan bersama versi dan identitas eksperimen. Karena itu, pengiriman ulang peristiwa penekanan tombol (callback) tidak memindahkan peserta ke pilihan lain.
Sebelum memulai, tentukan audiens, tujuan utama, dan tujuan tambahan. Atur asal jumlah uang untuk laporan dan jendela atribusi, yaitu waktu setelah interaksi ketika hasil masih dihitung. Bergantung pada pengaturannya, jumlah tersebut dapat berupa nilai tetap, sifat peristiwa, pembayaran, atau transaksi CRM. Versi eksperimen juga dapat merujuk pada konten yang sesuai.
Versi dan status
Status eksperimen: draf, berjalan, dijeda, selesai, dibatalkan, dan diarsipkan. Saat dimulai, eksperimen memakai versi pengaturan saat itu yang tidak berubah. Menjeda tidak mengubah pilihan yang sudah ditetapkan. Eksperimen selesai atau dibatalkan dapat diarsipkan.
Setelah peserta pertama kali melihat pilihan, yaitu peristiwa exposure, perubahan teks atau pembagian audiens membuat versi baru. Versi lama tetap terlihat dalam laporan. Pilih nomor versi yang tepat saat membandingkan hasil. Pemenang dipilih secara manual satu kali dan tetap terlihat setelah eksperimen diarsipkan. Memilih pemenang sendiri tidak membuktikan bahwa selisih hasil antar pilihan dapat dipercaya secara statistik.
Peristiwa dan atribusi
Laporan menampilkan penetapan pilihan, penayangan (exposure), pengiriman, pembukaan, klik, balasan, pencapaian tujuan (konversi), berhenti berlangganan, dan keluhan. Mengirim peristiwa yang sama lagi tidak menambah hitungan karena setiap fakta memiliki ID sumber yang tetap. Pendapatan disimpan terpisah menurut mata uang dalam satuan uang terkecil. Misalnya, 1250 dan EUR berarti €12,50. Untuk integrasi, jumlah dikirim sebagai bilangan bulat 64-bit bertanda dan mata uang sebagai kode ISO 4217.
Pendapatan dikelompokkan menurut mata uang. EUR, RSD, dan USD tidak dijumlahkan begitu saja. Perbandingan antar mata uang memerlukan proses terpisah dengan kurs pada waktu tertentu.
Pilih satu cara mengaitkan konversi dengan interaksi dalam laporan:
- Interaksi pertama: mengaitkan konversi yang memenuhi syarat dengan interaksi paling awal.
- Interaksi terakhir: mengaitkannya dengan interaksi terakhir yang memenuhi syarat.
- Penetapan eksperimen: mengaitkannya dengan saat peserta mendapat pilihan.
Antarmuka dan jawaban API menampilkan cara yang dipilih serta jendela atribusi untuk versi pengaturan tersebut. Hasil dari cara yang berbeda tidak dicampur menjadi satu angka.
Peringatan dan kelompok peserta
Peringatan membantu menemukan masalah data: eksperimen masih berjalan, pilihan memiliki kurang dari 30 penayangan, peserta telah mendapat pilihan tetapi penayangan tidak tercatat, pembagian audiens sangat berbeda dari yang direncanakan, atau klik dan konversi lebih banyak daripada penayangan. Periksa pengiriman dan pencatatan peristiwa sebelum memilih pemenang. Peringatan ini tidak mengukur kepastian statistik selisih hasil.
Kohort di sini berarti daftar orang yang mendapat suatu pilihan. Anda dapat membacanya per halaman; API menggunakan kursor untuk halaman berikutnya. Jika laporan disaring menurut segmen, sistem memakai anggota segmen yang diterbitkan saat ini, bukan anggota pada tanggal eksperimen.
Kesesuaian dengan pop-up dan kampanye lama
Jika eksperimen dipindahkan dari sistem pencatatan pop-up lama, peristiwa sebelumnya harus dipindahkan lebih dulu. Pengunjung yang kembali tetap melihat pilihan yang pernah ditampilkan agar penawaran tidak berubah di tengah perjalanan. Statistik pop-up mempertahankan format jawaban dan penghitung lama sampai penghitungan baru dan lama cocok.
Saat kampanye dibagi ke beberapa cabang (split), sistem menyimpan waktu perpindahan ke pencatatan baru (cutover). Pelaksanaan kampanye yang dimulai sebelumnya tetap memakai pembagian lama. Laporan gabungan tersedia setelah pelaksanaan tersebut selesai karena penetapan lama yang hilang tidak dapat dibuat ulang dengan pasti.
Contoh API dan MCP
Laporan REST memerlukan token personal (PAT) dengan scope experiments:read dan hak bot untuk Analitik. Rentang waktu harus terbatas dan menggunakan RFC3339 UTC. Contoh berikut tidak berisi token atau data pelanggan sebenarnya.
curl -X POST "$BASE_URL/api/bots/$BOT_ID/experiments/$EXPERIMENT_ID/report" \
-H "Authorization: Bearer $PAT" \
-H "Content-Type: application/json" \
-d '{
"version": 2,
"attribution_model": "assignment",
"from": "2026-07-01T00:00:00Z",
"to": "2026-08-01T00:00:00Z",
"segment_id": "00000000-0000-4000-8000-000000000000"
}'
400 berarti permintaan laporan tidak benar. 404 berarti eksperimen atau versi yang diminta tidak tersedia untuk bot ini. 409 berkaitan dengan konflik saat mengubah pengaturan atau memilih pemenang, bukan versi laporan yang tidak ada. Untuk membaca daftar penetapan peserta, gunakan parameter version, variant opsional, limit, dan kursor dari halaman sebelumnya.
MCP hanya menyediakan alat baca saja untuk eksperimen bersama dengan scope experiments:read yang sama:
{"name":"get_experiment_report","arguments":{"bot_id":"<bot-id>","experiment_id":"<experiment-id>","version":2}}
Alat list_experiments dan get_experiment juga tersedia. MCP tidak dapat memulai, menjeda, atau mengubah eksperimen; tidak dapat memilih pemenang, menetapkan peserta, atau mencatat peristiwa.