A/B-Test für Betreffzeilen in Gmail bei kleinen Verteilern

Ein A/B-Test für Betreffzeilen funktioniert auch mit einem kleinen Verteiler, aber nur, wenn Sie akzeptieren, was kleine Zahlen aussagen können und was nicht. Die Methode ist einfach: Sie teilen Ihre Empfänger zufällig in zwei Gruppen, schicken dieselbe E-Mail mit zwei verschiedenen Betreffzeilen zur gleichen Zeit ab und vergleichen, wie viele Personen pro Gruppe die Mail geöffnet haben. Schwierig ist der letzte Schritt. Bei 25 Personen pro Gruppe verschiebt eine einzige zusätzliche Öffnung die Öffnungsrate um vier Prozentpunkte, deshalb enden die meisten Einzeltests unentschieden. Die Lösung: größere Unterschiede testen, den Test über mehrere Versände wiederholen und ein Protokoll führen, statt einem einzelnen Ergebnis zu vertrauen.

Diese Anleitung geht den ganzen Ablauf durch: welche Betreffzeilen-Muster sich zum Testen lohnen, wie Sie aus Gmail heraus eine faire Aufteilung hinbekommen (von Hand oder per Serienmail aus Google Sheets), wie Sie Öffnungen messen und wie Sie entscheiden, ob der Unterschied echt ist oder nur Rauschen.

Warum ein A/B-Test für Betreffzeilen bei kleinen Verteilern anders läuft

Große Versender testen Betreffzeilen an zehntausenden Adressen. In dieser Größenordnung ist ein Unterschied von zwei Prozentpunkten in der Öffnungsrate vermutlich echt. Wenn Sie einen Newsletter an 80 Kunden schicken oder eine Kaltakquise-Runde an 40 Interessenten, sieht die Rechnung völlig anders aus.

Drei Dinge machen Tests mit kleinen Listen schwieriger:

• Jede Person ist ein großer Prozentanteil. In einer Gruppe von 20 steht jeder Empfänger für 5 Prozent der Öffnungsrate. Ob eine Person gerade im Urlaub war, wiegt schwerer als Ihre Formulierung.
• Öffnungstracking ist nicht perfekt. Öffnungen werden in der Regel über ein winziges Bild erkannt, das beim Anzeigen der Nachricht geladen wird. Empfänger, die Bilder blockieren, und alle, die Apple Mail mit aktiviertem E-Mail-Datenschutz (Mail Privacy Protection) nutzen, werden entweder gar nicht erfasst oder gelten als geöffnet, egal ob sie die Mail gelesen haben. Bei einer großen Liste verwischt das die Zahlen gleichmäßig. Bei einer kleinen Liste kann es den Test in beide Richtungen kippen.
• Ihre Liste ist nicht einheitlich. Zehn Personen aus derselben Firma oder eine Mischung aus Bestandskunden und kalten Kontakten bedeuten, dass eine zufällige Aufteilung versehentlich alle wahrscheinlichen Öffner auf eine Seite packen kann.

Nichts davon heißt, dass Sie auf Tests verzichten sollten. Es heißt, dass Sie testen, um über mehrere Wochen ein Muster zu erkennen, nicht um nach einem Versand einen Sieger zu küren.

Betreffzeilen-Muster, die sich zum Testen lohnen

Wählen Sie Varianten, die sich wirklich voneinander unterscheiden. „Kurze Frage“ gegen „Eine kurze Frage“ zu testen, verschwendet einen Versand. Die folgenden Muster erzeugen tendenziell einen spürbaren Abstand in die eine oder andere Richtung, und genau das braucht ein kleiner Test.

Konkret gegen allgemein

Allgemein: Update zum Projekt Konkret: Vertragsentwurf für die Filiale Köln-Ehrenfeld, bereit zur Durchsicht

Konkrete Betreffzeilen sagen dem Leser, was drin ist und warum es ihn betrifft. Das ist bei geschäftlichen E-Mails oft der größte einzelne Hebel und sollte als Erstes getestet werden.

Frage gegen Aussage

Aussage: Rechnung 2041 ist jetzt überfällig Frage: Können Sie bestätigen, dass Rechnung 2041 im nächsten Zahlungslauf ist?

Fragen laden zu einer Antwort ein und wirken weniger wie eine Forderung. Bei einem kalten Kontakt können sie aber auch aufdringlich wirken.

Mit und ohne Kontext des Empfängers

Neutral: Angebot für Ihre Website Mit Kontext: Angebot für den Relaunch der Website von Bäckerei Hartmann

Wer die Firma, das Projekt oder den Ort nennt, mit dem der Empfänger tatsächlich zu tun hat, signalisiert, dass die Mail keine Vorlage ist. Bei einer Serienmail ist das einfach ein Platzhalterfeld, kostet also nichts.

Kurz gegen beschreibend

Kurz: Donnerstag? Beschreibend: Passt Ihnen Donnerstag 14 Uhr für das Kick-off-Gespräch?

Kurze Zeilen fallen im vollen Posteingang auf, geben aber keinen Grund zum Öffnen. Beschreibende Zeilen konkurrieren über Relevanz. Welche gewinnt, hängt stark davon ab, ob der Leser Sie bereits kennt.

Zahl gegen keine Zahl

Drei Änderungen am Terminplan für Oktober gegen Änderungen am Terminplan für Oktober. Zahlen wecken die Erwartung, dass die Mail kurz und überfliegbar ist.

Was sich bei kleinen Listen nicht zu testen lohnt: Emojis, Groß- und Kleinschreibung sowie Satzzeichen. Der Effekt, falls es überhaupt einen gibt, ist mit weniger als ein paar hundert Empfängern nicht sichtbar.

So richten Sie die Aufteilung in Gmail Schritt für Schritt ein

Gmail hat keine eingebaute A/B-Funktion, Sie bauen die Aufteilung also selbst. Die zwei Bausteine sind eine faire Aufteilung und der zeitgleiche Versand an beide Gruppen.

Aufteilung in Google Sheets anlegen

1. Legen Sie Ihre Empfänger in einer Google-Tabelle an, mit Spalten für E-Mail, Vorname und alle gewünschten Platzhalterfelder (Firma, Projekt).
2. Fügen Sie in einer neuen Spalte Gruppe in jeder Zeile eine Zufallszahl mit =ZUFALLSZAHL() ein (in englischsprachigen Tabellen =RAND()). Kopieren Sie die Spalte anschließend und wählen Sie Bearbeiten > Inhalte einfügen > Nur Werte, damit sich die Zahlen nicht mehr ändern.
3. Sortieren Sie die Tabelle nach dieser Spalte. Die obere Hälfte ist Gruppe A, die untere Gruppe B. Tragen Sie A oder B in eine Spalte Variante ein.
4. Legen Sie eine Spalte Betreff an und füllen Sie sie bei den A-Zeilen mit Betreff A und bei den B-Zeilen mit Betreff B. Damit haben Sie eine einzige Tabelle, die einen Versand steuert.

Die Zufallszahl statt einer Sortierung nach Alphabet oder Eintragsdatum verhindert, dass Personen aus derselben Firma versehentlich in einer Gruppe landen.

Beide Varianten zur gleichen Zeit verschicken

Ist die Liste klein genug für den Versand von Hand, schreiben Sie die Mail einmal und schicken sie an jede Person einzeln (niemals als eine Nachricht mit allen in Bcc, denn dann lassen sich Öffnungen pro Person nicht auswerten). Verwenden Sie den Betreff aus Ihrer Tabelle. Halten Sie beide Gruppen innerhalb derselben halben Stunde, weil der Versandzeitpunkt die Öffnungen stärker beeinflusst als die meisten Änderungen am Betreff.

Sind das zu viele Mails für den Handversand, nutzen Sie eine Serienmail. Gmail kann das kostenlos per Apps Script (dazu gibt es bei uns eine separate Anleitung zur Serienmail aus Google Sheets) oder über eine Erweiterung. Zestmail führt eine Serienmail direkt in Gmail aus einer Google-Sheets-URL aus und lässt Sie den Versand zeitlich planen, sodass Gruppe A und Gruppe B in derselben Minute rausgehen, ohne dass Sie am Rechner sitzen müssen. Die Erweiterung und die Website sind nur auf Englisch verfügbar. Im kostenlosen Tarif liegt die Grenze bei 20 E-Mails pro Tag, und die Mails enthalten einen kleinen Hinweis „Sent with Zestmail“ im Footer; für einen Test mit 60 Personen bräuchten Sie den Pro-Tarif oder müssten den Versand auf mehrere Tage verteilen, was den Test schwächt.

Öffnungen pro Gruppe messen

Sie brauchen Öffnungsdaten pro Empfänger, keine Gesamtzahl. Die Möglichkeiten:

• Lesebestätigungen in Gmail gibt es nur in Google-Workspace-Konten, und sie funktionieren nur, wenn das Mailsystem des Empfängers mitspielt und die Person dem Senden zustimmt. Für einen Test nicht brauchbar.
• Eine Tracking-Erweiterung fügt jeder Nachricht ein unsichtbares Bild hinzu und zeigt Ihnen, wer wann geöffnet hat. Zestmail macht das innerhalb von Gmail, filtert Ihre eigenen Öffnungen und gängige Bot-Öffnungen heraus (Sicherheitsscanner, die Mails „öffnen“, bevor die Person es tut) und zeigt die Ergebnisse in einer Seitenleiste. Die Erweiterung fragt keine Berechtigung zum Lesen Ihres Posteingangs an. Die KI-gestützten A/B-Tests für Betreffzeilen können außerdem Varianten vorschlagen und halten den Vergleich am selben Ort wie die Öffnungen, was die Tabellenarbeit von oben erspart; beachten Sie, dass die KI-Funktionen den Entwurf an den Server von Zestmail senden, um Vorschläge zu erzeugen.

Egal welches Werkzeug Sie nutzen: Warten Sie ein festes Zeitfenster ab, bevor Sie zählen. 48 Stunden decken die meisten geschäftlichen E-Mails ab. Zählen Sie die Öffnungen für beide Gruppen zum selben Zeitpunkt.

Ergebnisse lesen: Wann ist ein Unterschied echt?

Hier gehen die meisten Tests mit kleinen Listen schief. So beurteilen Sie das in der Praxis, ohne Statistikkurs.

1. Zählen Sie die Öffnungen pro Gruppe und rechnen Sie aus, wie viel eine einzelne Öffnung ausmacht. Bei 25 Personen pro Gruppe entspricht jede Öffnung 4 Prozentpunkten.
2. Fragen Sie sich: Könnten zwei oder drei Personen, die anders entschieden hätten, den Sieger ändern? Hat Gruppe A 11 Öffnungen und Gruppe B 9, entscheiden zwei Personen über das Ergebnis. Werten Sie das als Unentschieden.
3. Rufen Sie nur dann einen Sieger aus, wenn der Abstand deutlich größer ist als eine Handvoll Personen. Bei Gruppen von 25 ist etwa 14 gegen 7 glaubwürdig. Bei Gruppen von 10 ist es fast nichts.
4. Wenn Sie es formal prüfen wollen: Kostenlose Online-Rechner für die Signifikanz von A/B-Tests nehmen Öffnungen und Empfänger pro Gruppe entgegen und sagen Ihnen, wie sicher Sie sein können. Die meisten kleinen Tests kommen als „nicht aussagekräftig“ zurück. Das ist die ehrliche Antwort, kein Misserfolg.

Ein grober Anhaltspunkt, was Sie realistisch erkennen können:

Das sind bewusst vorsichtige Faustregeln für einen einzelnen Versand. Je mehr Versände Sie zusammenlegen, desto kleinere Abstände können Sie ernst nehmen.

Prüfen Sie außerdem den zeitlichen Verlauf, nicht nur die Summen. Wenn die Öffnungen einer Variante alle in der ersten Stunde passieren und die der anderen über zwei Tage eintrudeln, leistet die erste Betreffzeile mehr, auch wenn die 48-Stunden-Summen nah beieinander liegen.

Ein laufendes Protokoll führen, keine Rangliste

Echte Antworten aus einer kleinen Liste bekommen Sie, indem Sie Ergebnisse sammeln. Legen Sie eine Tabelle mit einer Zeile pro Test an: Datum, Listensegment, Variante A, Variante B, Empfänger pro Gruppe, Öffnungen pro Gruppe und eine kurze Notiz, welches Muster Sie getestet haben (konkret gegen allgemein, Frage gegen Aussage und so weiter).

Dann:

• Testen Sie dasselbe Muster über mehrere Versände, jedes Mal mit anderer Formulierung. Schlägt „konkret“ in vier von fünf Versänden „allgemein“, haben Sie etwas gelernt, das Sie nutzen können, auch wenn kein einzelner Versand für sich aussagekräftig war.
• Verwenden Sie das Gewinnermuster beim nächsten Mal als Kontrolle und testen Sie ein neues Muster dagegen. Eine Variable pro Test.
• Notieren Sie alles, was die Gruppe verzerrt haben könnte, etwa dass die Hälfte von Gruppe B in einer Firma sitzt, die wegen eines Brückentags geschlossen hatte.
• Testen Sie Gewinner gelegentlich erneut. Ein Muster, das bei der Kaltakquise funktioniert hat, muss bei denselben Personen nicht mehr funktionieren, sobald sie Sie kennen.

Nach acht oder zehn Versänden haben Sie einen kurzen, auf Belegen beruhenden Hausstil für Betreffzeilen, der zu Ihren Lesern passt, und das ist nützlicher als jede Liste allgemeiner Regeln. Die nötigen Werkzeuge sind bescheiden: eine Tabelle, ein Weg, beide Versionen gleichzeitig zu verschicken, und ein Weg, Öffnungen pro Person zu sehen. Gmail plus eine kostenlose Serienmail per Apps Script bringt Sie den größten Teil des Weges; ein Öffnungstracker wie Zestmail (auf Englisch) nimmt Ihnen das manuelle Zählen ab, mit einer 7-tägigen Testphase für Pro, falls 20 E-Mails pro Tag für Ihren Test nicht reichen. So oder so: Die Disziplin aus zufälliger Aufteilung, zeitgleichem Versand und ehrlichem Lesen kleiner Zahlen ist das, was den Test überhaupt lohnenswert macht.