ab-test-setup

Überblick über die ab-test-setup-Skill

Wofür ab-test-setup gedacht ist

Die ab-test-setup-Skill hilft dabei, aus einer vagen Experiment-Idee einen tatsächlich umsetzbaren Testplan für Conversion-Arbeit zu machen. Sie eignet sich besonders für Marketer, Growth-Teams, Product Marketer und PMs, die entscheiden müssen, was getestet werden soll, wie der Test aufgebaut sein sollte und ob überhaupt genug Traffic vorhanden ist, um belastbare Erkenntnisse zu gewinnen.

Wer diese Skill installieren sollte

Installiere ab-test-setup, wenn du regelmäßig Hilfe brauchst bei:

• Headline- oder CTA-Experimenten
• Tests auf Landingpages und in Signup-Flows
• Variantenplanung für Messaging- oder Offer-Änderungen
• Fragen zu Stichprobengröße, Laufzeit und Signifikanz
• der Entscheidung, ob eine Idee überhaupt per A/B-Test geprüft werden sollte

Besonders nützlich ist sie, wenn dein Team bereits Ideen hat, aber noch kein wiederholbares Experiment-Briefing etabliert ist.

Die eigentliche Kernaufgabe

Die meisten gescheiterten Tests scheitern nicht daran, dass die Variantenideen schlecht sind. Sie scheitern an einem schwachen Setup: keine klare Hypothese, zu viele Änderungen gleichzeitig, keine Baseline, kein definiertes Ziel für einen nachweisbaren Effekt oder fehlende Guardrails. Die ab-test-setup skill ist darauf ausgelegt, genau diese fehlende Disziplin vor dem Launch zu erzwingen.

Was diese Skill von einem generischen Prompt unterscheidet

Ein generischer Prompt schlägt oft einfach Testideen vor. ab-test-setup drängt auf einen valideren Experimentplan:

• startet mit der Hypothese, nicht nur mit „wir probieren zwei Versionen“
• fragt nach Baseline-Conversion-Rate und Traffic
• berücksichtigt Stichprobengröße und Testlaufzeit
• unterscheidet zwischen A/B, A/B/n und multivariaten Ansätzen
• warnt vor verfrühtem Auswerten und unterpowerten Tests
• verweist auf Templates und eine Sample-Size-Referenz im Repo

Best-Fit- und Misfit-Fälle

Best Fit:

• du kennst Seite, Zielgruppe und Ziel bereits
• du brauchst schnell ein strukturiertes Test-Briefing
• du willst bessere Prompts für Conversion-Experimente

Misfit:

• du brauchst zuerst Instrumentation oder Event-Tracking-Design
• du willst Rewrite-Ideen für eine Seite ohne Testplan
• du hast sehr wenig Traffic und brauchst Alternativen zu formalen Tests

So nutzt du die ab-test-setup-Skill

ab-test-setup in deiner Skills-Umgebung installieren

Nutze das Installationsmuster aus der Directory-Baseline:

npx skills add https://github.com/coreyhaines31/marketingskills --skill ab-test-setup

Nach der Installation öffne:

• skills/ab-test-setup/SKILL.md
• skills/ab-test-setup/references/sample-size-guide.md
• skills/ab-test-setup/references/test-templates.md
• skills/ab-test-setup/evals/evals.json

Diese Dateien sind wichtiger als ein kurzes Überfliegen, weil sie den beabsichtigten Entscheidungsablauf, die gewünschte Output-Struktur und die Qualitätslatte zeigen.

Diese Dateien zuerst lesen

Wenn du vor der Nutzung von ab-test-setup nur drei Dateien liest, dann diese:

1. SKILL.md für Trigger-Bedingungen und Planungslogik
2. references/sample-size-guide.md für Machbarkeits- und Laufzeitentscheidungen
3. references/test-templates.md für die finale Struktur, die das Modell erzeugen soll

Prüfe danach evals/evals.json, um zu sehen, was die Skill bei realistischen Prompts als gute Antwort bewertet.

Welche Eingaben ab-test-setup braucht

Die Skill wird deutlich besser, wenn du Folgendes mitgibst:

• die zu testende Seite oder Funktion
• das primäre Conversion-Event
• die aktuelle Baseline-Conversion-Rate
• monatliches oder wöchentliches Traffic-Volumen
• die geplante Änderung
• das Zielgruppensegment
• Tooling-Einschränkungen
• Timeline oder Launch-Fenster
• Risikotoleranz für False Positives

Ohne Baseline und Traffic wird ab-test-setup usage generischer und für Entscheidungen deutlich weniger nützlich.

Wenn vorhanden, mit Product-Marketing-Kontext starten

Das Repo weist die Skill ausdrücklich an, zuerst .agents/product-marketing-context.md oder .claude/product-marketing-context.md zu prüfen. Das ist wichtig, weil gutes Experimentdesign von Folgendem abhängt:

• Zielgruppe
• Positionierung
• Kernbotschaften
• aktuelle Messaging-Strategie
• Funnel-Stufe

Wenn diese Datei in deiner Umgebung vorhanden ist, stelle sicher, dass das Modell sie liest, bevor es wiederholt dieselben Discovery-Fragen stellt.

Aus einer groben Idee einen starken ab-test-setup-Prompt machen

Schwacher Prompt:

We want to test our homepage headline. What should we do?

Besserer Prompt:

Use ab-test-setup to plan an A/B test for our homepage headline. Current headline: "The All-in-One Project Management Tool." Proposed direction: more benefit-focused messaging for SaaS team leads. Baseline signup rate is 3.2%. We get about 15,000 homepage visitors per month. Primary goal is signup rate. We can implement one variant only, 50/50 traffic split, in our existing testing tool. Please create a hypothesis, recommend test type, estimate sample needs and likely duration, define primary/secondary/guardrail metrics, and flag risks like peeking or low power.

Diese zweite Version gibt der Skill genug Kontext, um einen Plan statt nur generisches Brainstorming zu liefern.

Nach dem Output-Format fragen, das du wirklich brauchst

Die Referenzen enthalten wiederverwendbare Templates. Frag daher gezielt nach einem dieser Formate:

• Experiment-Briefing zur Freigabe
• Launch-Checkliste
• Testplan-Template
• Stakeholder-Update
• Post-Test-Readout-Shell

Praktischer Prompt:

Use the test plan template format from references/test-templates.md and fill only fields we can support with the data provided. Mark missing assumptions clearly.

Das reduziert Nacharbeit und macht fehlende Eingaben früh sichtbar.

Die Skill für Entscheidungen nutzen, nicht nur für Ideengenerierung

Der nützlichste Workflow im ab-test-setup guide ist:

1. die geplante Änderung beschreiben
2. das Business-Ziel benennen
3. Baseline und Traffic angeben
4. fragen, ob der Test überhaupt tragfähig ist
5. nach exakten Metriken und Run-Bedingungen fragen
6. erst danach Variantenempfehlungen anfordern

Diese Reihenfolge ist entscheidend. Sie verhindert, dass Teams zu viel Energie in Tests investieren, die nie eine ausreichende Stichprobengröße erreichen.

Die zentralen Planungsregeln kennen, die die Skill durchsetzt

Ausgehend von der Quelle legt die Skill besonderen Wert auf:

• mit einer klaren Hypothese starten
• immer nur eine Sache gleichzeitig testen
• primäre, sekundäre und Guardrail-Metriken definieren
• Stichprobengröße und Mindestlaufzeit schätzen
• Tests nicht wegen verrauschter Frühindikatoren vorzeitig beenden

Wenn in deiner Organisation häufig „schnelle Tests“ ohne diese Leitplanken gestartet werden, liefert diese Skill echten Mehrwert.

So nutzt du ab-test-setup für Conversion-Arbeit

Für ab-test-setup for Conversion solltest du nicht nur die Variantenidee nennen, sondern auch die Business-Relevanz. Gute Inputs sind:

• der aktuelle Conversion-Engpass
• warum die aktuelle Seite möglicherweise unterperformt
• der erwartete Wirkmechanismus der Änderung
• der minimale Lift, der geschäftlich relevant wäre
• Segmente, die sich nicht verschlechtern dürfen

Beispiel:

We think our pricing page CTA underperforms because it asks for commitment too early. Plan an A/B test comparing "Start Free Trial" vs "See Plans First." Baseline click-through is 6.8%, downstream trial-start rate is 2.1%, and pricing page traffic is 40,000 sessions/month. We care most about completed trial starts, not just button clicks. Include guardrails so a CTR lift does not hide lower-quality signups.

Dieser Prompt führt zu einer besseren Metrik-Auswahl, als einfach nur nach einem Button-Farbtest zu fragen.

Wann die Skill deine Idee bewusst zurückweist

Erwarte, dass ab-test-setup besonders hilfreich ist, wenn sie sagt:

• das sollte kein multivariater Test sein
• ihr habt nicht genug Traffic für vier Varianten
• euer MDE ist unrealistisch klein
• eure primäre Metrik liegt zu weit von der getesteten Änderung entfernt
• ihr bündelt zu viele Änderungen, um kausal etwas zu lernen

Diese Gegenwehr ist ein Feature, keine Reibung.

Häufige repo-gestützte Anwendungsfälle

Basierend auf Skill-Text und Evals sind gute Einsatzfelder:

• A/B-Tests für Homepage-Headlines
• CTA-Variantentests auf Pricing- oder Signup-Seiten
• die Entscheidung, ob A/B/n realistisch ist
• Laufzeitplanung auf Basis von Traffic und Baseline
• Erstellung strukturierter Dokumentation für den Experiment-Rollout

Die Evals zeigen außerdem, dass die Skill lockere Anfragen wie „should we test 4 CTA colors?“ erkennen und Nutzer in Richtung eines saubereren Experimentdesigns lenken sollte.

FAQ zur ab-test-setup-Skill

Ist ab-test-setup gut für Einsteiger?

Ja, sofern du deine Seite und dein Ziel bereits verstehst. Die Skill liefert die Struktur, die Einsteigern oft fehlt: Hypothese, Denken in Stichprobengrößen, Metriken und Laufzeit. Weniger geeignet ist sie, wenn du erst einmal eine Statistik-Einführung von Grund auf brauchst.

Was ist der Hauptvorteil gegenüber gewöhnlichem Prompting?

Der größte Vorteil ist die Begrenzung durch klare Kriterien. ab-test-setup erzeugt nicht nur Varianten, sondern rahmt die Frage, ob ein Test den Aufwand überhaupt wert ist und was für valide Messung notwendig ist. Das spart meist mehr Zeit als reine Ideengenerierung.

Brauche ich exakte Traffic- und Conversion-Daten?

Exakte Daten sind am besten, grobe Richtwerte sind aber ebenfalls nützlich. Wenn du nur Schätzungen hast, sag das ausdrücklich dazu. Die Skill kann dann immer noch einen Planungsentwurf liefern, aber die Sicherheit bei Sample-Size- und Laufzeit-Empfehlungen ist geringer.

Kann ab-test-setup mit mehr als zwei Varianten umgehen?

Ja, sollte aber auch darauf hinweisen, dass zusätzliche Varianten den Stichprobenbedarf erhöhen. Bei begrenztem Traffic ist ein A/B-Test oft praktikabler als A/B/n oder multivariates Testen.

Wann sollte ich ab-test-setup nicht verwenden?

Nutze sie nicht als Hauptwerkzeug, wenn:

• Tracking fehlt oder unzuverlässig ist
• der Traffic für belastbare Inferenz zu niedrig ist
• du ein CRO-Rewrite brauchst, keinen Testplan
• die Änderung so groß ist, dass die Umsetzbarkeit der eigentliche Engpass ist
• du zuerst Analytics-Instrumentation-Design brauchst

Ist diese Skill an eine bestimmte Testing-Plattform gebunden?

Nichts deutet auf einen Plattform-Lock-in hin. Die Skill ist planungsorientiert und sollte daher mit den meisten Experimentation-Tools funktionieren, solange du Traffic-Split, Metriken und Implementierungsgrenzen angeben kannst.

Hilft ab-test-setup auch bei der Auswertung nach dem Test?

Teilweise. Die Templates enthalten auch Strukturen für die Ergebnisdokumentation, aber der größte Mehrwert liegt klar im Setup vor dem Launch. Nutze die Skill vor allem, um festzulegen, was Erfolg bedeutet, bevor der Test startet.

So verbesserst du die ab-test-setup-Skill

Stärkere Hypothesen liefern, nicht nur Variantenwünsche

Schlechter Input:

Test this new copy against the old copy.

Besserer Input:

Because users may not understand our current value proposition quickly, we believe replacing feature-led copy with outcome-led copy will increase signup starts among first-time visitors. We will measure signup rate as the primary metric and bounce rate plus demo-request rate as secondary checks.

Das gibt ab-test-setup eine kausale Hypothese zum Testen, nicht nur zwei Artefakte zum Vergleichen.

Den minimal sinnvollen Experiment-Datensatz mitgeben

Um die Output-Qualität von ab-test-setup zu verbessern, solltest du nach Möglichkeit immer angeben:

• Baseline-Conversion-Rate
• Traffic-Volumen
• minimal sinnvoller Lift
• exaktes Conversion-Event
• Zielgruppe
• Implementierungsgrenzen
• akzeptable Testlaufzeit

Diese Eingaben verbessern direkt die Logik für Stichprobengröße und Machbarkeitsempfehlungen.

Die häufigsten Fehlerbilder vermeiden

Schwache Outputs entstehen meist durch eines dieser Probleme:

• zu viele Änderungen in einem Test gebündelt
• keine Baseline-Metrik
• Vanity-Metric als primäre KPI
• Signifikanz wird verlangt, ohne die Traffic-Realität zu berücksichtigen
• es wird eine vorgelagerte Mikro-Metrik getestet, obwohl das eigentliche Business-Ziel weiter unten im Funnel liegt

Wenn du diese Punkte vor dem Prompting bereinigst, wird die Skill deutlich nützlicher.

Der Skill sagen, was sich nicht verschlechtern darf

Ein stärkerer Prompt für die ab-test-setup skill enthält Guardrails wie:

• Lead-Qualität
• Refund-Rate
• Bounce-Rate
• Activation-Rate
• Revenue per Visitor

So vermeidest du falsche „Gewinne“, bei denen die Topline-Metrik steigt, aber die geschäftliche Qualität sinkt.

Die Sample-Size-Referenz als Machbarkeitsfilter nutzen

Bevor du Zeit in Varianten investierst, schau in references/sample-size-guide.md. Die Datei hilft bei Fragen wie:

• kann dieser Test in einem vernünftigen Zeitraum abgeschlossen werden?
• ist der gewünschte Lift zu klein, um ihn nachzuweisen?
• wären weniger Varianten die klügere Wahl?
• sollten wir lieber eine größere Änderung testen statt eines subtilen Tweaks?

Für Installationsentscheidungen ist das eine der wertvollsten Dateien im Repo.

Die Templates statt Freiform-Outputs wiederverwenden

references/test-templates.md ist der schnellste Weg zu besserer Team-Adoption. Bitte das Modell, eines dieser Formate auszufüllen:

• Testplan
• Priorisierungs-Scorecard
• Stakeholder-Update
• Hypothesis-Bank-Eintrag

Freiform-Antworten sind schnell erzeugt, aber schwerer in operative Abläufe zu überführen.

Nach dem ersten Entwurf noch einmal iterieren

Nach dem ersten Durchlauf mit ab-test-setup usage solltest du eine Verfeinerungsrunde einplanen:

1. die Hypothese schärfen
2. den Scope auf eine Variable reduzieren
3. schwache Metriken durch operative Definitionen ersetzen
4. Traffic-Split und Laufzeit bestätigen
5. fragen, welche Annahmen noch fehlen

Diese zweite Runde verbessert den Plan oft stärker als weitere Variantenideen.

ab-test-setup gezielt mit angrenzenden Skills kombinieren

Die Skill selbst verweist auf benachbarte Anforderungen:

• nutze analytics-tracking, wenn das Measurement-Setup der Engpass ist
• nutze page-cro, wenn du vor formalen Tests erst Ideen zur Seitenoptimierung brauchst

Diese Abgrenzung ist sinnvoll. ab-test-setup ist am stärksten, wenn du bereits weißt, welche Änderung du evaluieren willst, und jetzt einen validen Experimentplan brauchst.