GetMyBot-Wissensdatenbank

Experimente und Attribution

Nachrichten- und Ablaufvarianten vergleichen, Nutzer einer Variante zuordnen und Ergebnisse bewerten. Kennzahlen, Umsatz und Berichtsgrenzen.

Auf dieser Seite

Mit einem Experiment vergleichen Sie Varianten, etwa zwei Texte eines Pop-ups oder zwei Kampagnenzweige. Sie bestimmen den Zielgruppenanteil je Variante und ein Ziel wie eine Zahlung. Der Bericht zeigt die Ergebnisse getrennt.

Eine Variante wird einem Kunden oder einem einzelnen Kampagnenlauf dauerhaft zugeordnet. Trifft dasselbe Ereignis erneut ein, wechselt die Person nicht die Variante. Dieses Verhalten heißt deterministische Zuteilung.

Version einrichten

Legen Sie zwei bis fünf Varianten an und verteilen Sie genau 100 % der Zielgruppe. In der API werden Anteile in Basispunkten angegeben: 100 Punkte sind 1 %, die Summe muss exakt 10.000 sein. Eine Kontrollgruppe kann beispielsweise keine Nachricht erhalten. Wählen Sie dann den Bezug der Variante:

  • Nutzer: Eine Person bleibt in derselben Variante.
  • Pfad: Ein Kampagnenlauf bleibt in seinem Zweig. Ein späterer Lauf derselben Person kann eine andere Variante erhalten.

Die Zuteilung wird zusammen mit Experiment-ID und Version gespeichert. Ein erneut gesendeter Schaltflächenklick (callback) verschiebt den Teilnehmer deshalb nicht in eine andere Variante.

Legen Sie vor dem Start Zielgruppe, Hauptziel und optionale weitere Ziele fest. Bestimmen Sie die Geldquelle für den Bericht und das Attributionsfenster: die Zeit nach einer Interaktion, in der ein Ergebnis gezählt wird. Je nach Einstellung kann der Betrag konstant sein oder aus einer Ereigniseigenschaft, Zahlung oder CRM-Transaktion stammen. Eine Experimentversion kann auf kompatible Inhalte verweisen.

Versionen und Lebenszyklus

Status: Entwurf, läuft, pausiert, abgeschlossen, abgebrochen und archiviert. Der Start verwendet die aktuelle unveränderliche Version; Pausieren ändert deren Zuteilungen nicht. Abgeschlossene oder abgebrochene Experimente können archiviert werden.

Nach der ersten Anzeige bei einem Teilnehmer, dem Exposure-Ereignis, erzeugt eine Änderung am Text oder der Verteilung eine neue Version. Die frühere bleibt im Bericht. Geben Sie beim Vergleich daher die gewünschte Versionsnummer an. Ein Gewinner wird einmal manuell bestimmt und bleibt auch nach Archivierung sichtbar. Diese Auswahl allein beweist keine statistisch belastbare Abweichung.

Ereignisse und Attribution

Berichte zeigen Zuteilungen, Anzeigen (Exposures), Zustellungen, Öffnungen, Klicks, Antworten, Zielerreichungen (Konversionen), Abmeldungen und Beschwerden. Ein erneut übermitteltes Ereignis zählt nicht doppelt, weil jeder Fakt eine dauerhafte ID des ursprünglichen Ereignisses hat. Umsatz wird nach Währung in deren kleinsten Einheiten gespeichert: 1250 plus EUR bedeutet €12,50. Integrationen übermitteln den Betrag als vorzeichenbehaftete 64-Bit-Zahl und die Währung als ISO-4217-Code.

Umsätze bleiben nach Währung getrennt. EUR, RSD und USD werden niemals stillschweigend addiert. Für währungsübergreifende Vergleiche brauchen Sie eine separate Umrechnung mit einem Kurs für einen bestimmten Zeitpunkt.

Wählen Sie für den Bericht ein Attributionsmodell:

  • Erster Kontakt: Eine passende Konversion wird dem ersten Kontakt zugerechnet.
  • Letzter Kontakt: Sie wird dem letzten passenden Kontakt zugerechnet.
  • Experimentzuteilung: Sie wird der Variantenzuteilung zugerechnet.

Oberfläche und API-Antwort nennen Modell und Attributionsfenster der unveränderlichen Version ausdrücklich. Modelle werden nicht in einem Gesamtwert vermischt.

Warnungen und Kohorten

Warnungen zeigen mögliche Datenprobleme: Experiment läuft noch, eine Variante hat weniger als 30 Exposures, eine zugeteilte Variante wurde nie angezeigt, die tatsächlichen Anteile weichen stark von der Vorgabe ab oder Klicks und Konversionen übersteigen Anzeigen. Prüfen Sie Zustellung und Ereigniserfassung vor der Gewinnerwahl. Diese Warnungen bewerten keine statistische Signifikanz.

Eine Kohorte ist hier die Liste der Menschen, denen eine Variante zugeteilt wurde. Sie kann seitenweise angezeigt werden; die API verwendet einen Cursor für die nächste Seite. Beim Segmentfilter zählt die aktuelle veröffentlichte Zusammensetzung des Segments, nicht seine Zusammensetzung zum Experimentzeitpunkt.

Kompatibilität mit Pop-ups und Kampagnen

Wird ein Experiment aus dem früheren Pop-up-Zählsystem übernommen, müssen alte Ereignisse zuerst migriert werden. Wiederkehrende Besucher behalten die bereits gezeigte Variante, damit das Angebot nicht mitten im Ablauf wechselt. Die Pop-up-Statistik behält ihr bisheriges Antwortformat und alte Zähler, bis neue und alte Zählung übereinstimmen.

Für Kampagnenzweige (split) wird der Zeitpunkt der Umstellung auf die neue Zählung (cutover) gespeichert. Ältere Läufe behalten ihre bisherige Zuteilung. Ein gemeinsamer Bericht ist erst nach ihrem Abschluss möglich: fehlende alte Zuteilungen lassen sich nicht zuverlässig rekonstruieren.

Beispiele für API und MCP

Der REST-Bericht benötigt einen persönlichen Token mit experiments:read und die Bot-Berechtigung Analytik. Der Zeitraum muss begrenztes RFC3339 UTC sein. Das JSON unten enthält nur Platzhalter.

curl -X POST "$BASE_URL/api/bots/$BOT_ID/experiments/$EXPERIMENT_ID/report" \
  -H "Authorization: Bearer $PAT" \
  -H "Content-Type: application/json" \
  -d '{
    "version": 2,
    "attribution_model": "assignment",
    "from": "2026-07-01T00:00:00Z",
    "to": "2026-08-01T00:00:00Z",
    "segment_id": "00000000-0000-4000-8000-000000000000"
  }'

400 bedeutet ungültige Berichtsanfrage. 404 bedeutet, dass Experiment oder ausdrücklich angeforderte Version für diesen Bot nicht verfügbar sind. 409 steht für einen Konflikt bei optimistischer Aktualisierung oder Gewinnerwahl, nicht für eine fehlende Berichtsversion. Eine Zuteilungskohorte wird mit version, optionalem variant, limit und dem Cursor der vorigen Seite abgefragt.

MCP veröffentlicht nur lesende allgemeine Experimentwerkzeuge mit demselben Scope experiments:read:

{"name":"get_experiment_report","arguments":{"bot_id":"<bot-id>","experiment_id":"<experiment-id>","version":2}}

Außerdem gibt es list_experiments und get_experiment. MCP startet oder pausiert kein Experiment, bearbeitet es nicht, wählt keinen Gewinner, erstellt keine Zuteilungen und schreibt keine Ereignisse.

Verwandte Themen