experiment-designer
von alirezarezvaniexperiment-designer hilft Product-Management-Teams dabei, A/B- und Feature-Experimente mit prüfbaren Hypothesen, Metriken, Stichprobenplanung, ICE-Priorisierung, Stoppregeln und Ergebnisinterpretation zu entwerfen.
Dieser Skill erreicht 80/100 Punkte und ist damit ein solider Kandidat für Verzeichnisnutzer, die einen Agent suchen, der Produktexperimente strukturierter aufsetzt als ein generischer Prompt. Er bietet klare Aktivierungssignale, einen umsetzbaren Workflow, unterstützende Referenzen und ein praktisches Script. Die Einführung wäre jedoch einfacher mit klareren Installationshinweisen und breiterer statistischer Tool-Unterstützung.
- Klarer Einsatzbereich für die Planung von Produktexperimenten, das Formulieren von Hypothesen, Stichprobenschätzung, ICE-Priorisierung und die Interpretation von A/B-Ergebnissen.
- Der operative Ablauf gibt Agents konkrete Schritte an die Hand: If/Then/Because-Hypothese, Metrikhierarchie, Stichprobenschätzung, ICE-Scoring, Stoppregeln und Interpretation.
- Nützliche progressive Vertiefung durch Referenzen zu Experiment-Playbooks und Statistikgrundlagen sowie ein ausführbares Script zur Stichprobengrößenberechnung.
- Im Skill-Ordner gibt es keinen Installationsbefehl und keine README. Nutzer müssen die Installation daher aus den Konventionen des übergeordneten Repository ableiten.
- Der enthaltene Rechner deckt Conversion-Tests mit zwei Anteilen ab; mittelwertbasierte Tests, sequenzielle Methoden und multivariate Power-Planung sind nicht implementiert.
Überblick über den experiment-designer skill
Was experiment-designer leistet
experiment-designer ist ein Product-Management-skill, der Produktideen in testbare Experimente übersetzt: mit klareren Hypothesen, vorab definierten Metriken, Sample-Size-Planung, ICE-Priorisierung, Launch-Regeln und Unterstützung bei der Ergebnisinterpretation. Besonders nützlich ist er, wenn ein Team mehr methodische Strenge braucht als „lass uns das A/B-testen“, aber kein vollständiges Experimentation-Playbook von Grund auf erstellen möchte.
Für welche Nutzer und Entscheidungen er am besten passt
Der experiment-designer skill eignet sich für PMs, Growth Leads, UX Researcher, Analysten und Startup-Teams, die A/B-Tests, multivariate Tests, Holdouts oder Feature-Experimente planen. Er hilft bei praktischen Fragen wie: Was ist die entscheidungsrelevante Metrik? Welche MDE ist es wert, erkannt zu werden? Wie viel Traffic wird benötigt? Welches Experiment sollte zuerst laufen? Ab wann ist ein Ergebnis belastbar genug, um zu launchen, zurückzurollen oder erneut zu testen?
Was ihn von einem generischen Prompt unterscheidet
Das Repository enthält einen strukturierten Workflow in SKILL.md, ein Playbook für Produktexperimente in references/experiment-playbook.md, eine statistikbezogene Referenz für PMs in references/statistics-reference.md sowie ein Python-Hilfsskript für Sample-Size-Schätzungen bei Zwei-Proportionen-Tests. Diese Kombination macht experiment-designer deutlich operativer als einen allgemeinen Brainstorming-Prompt: Der skill lenkt den Agenten auf bessere Hypothesen, Guardrail-Metriken, feste Stoppregeln und praktische Signifikanz.
Wichtige Grenzen vor der Installation
Dies ist keine vollständige Experimentation-Plattform, keine Causal-Inference-Bibliothek und kein Analytics-SDK. Das enthaltene scripts/sample_size_calculator.py ist auf Zwei-Proportionen-A/B-Tests ausgelegt. Für kontinuierliche Metriken, Ratio-Metriken, sequenzielles Testen, Cluster-Zuweisung und komplexe Marketplace-Experimente ist daher zusätzliche statistische Prüfung nötig. Nutze den skill, um die Qualität deines Experimentdesigns zu verbessern, nicht als Ersatz für Analystenvalidierung bei Entscheidungen mit hohem Risiko.
So nutzt du den experiment-designer skill
experiment-designer installieren und zuerst diese Dateien lesen
Installiere den skill aus dem GitHub-Repository mit:
npx skills add alirezarezvani/claude-skills --skill experiment-designer
Lies nach der Installation die Dateien in dieser Reihenfolge:
SKILL.mdfür den Kern-Workflow und den Trigger-Kontext.references/experiment-playbook.mdfür Experimenttypen, Metrikdesign, Stoppregeln und Pre-Launch-Checks.references/statistics-reference.mdfür p-values, confidence intervals, MDE, power und practical significance.scripts/sample_size_calculator.py, wenn du Traffic- oder Laufzeitschätzungen für Conversion-Rate-Tests brauchst.
Der skill-Pfad lautet product-team/skills/experiment-designer.
Welche Inputs der skill für gute Ergebnisse braucht
Für eine sinnvolle Nutzung von experiment-designer reicht eine Feature-Idee allein nicht aus. Gib den Produktbereich, das Nutzersegment, die vorgeschlagene Intervention, die aktuelle Baseline-Metrik, die angestrebte Metrikbewegung, das Traffic-Volumen, Launch-Einschränkungen und das geschäftliche Risiko an. Der skill funktioniert am besten, wenn er die primäre Entscheidungsmetrik sauber von Guardrails und Diagnosemetriken trennen kann.
Schwacher Prompt:
Design an experiment for our onboarding flow.
Stärkerer Prompt:
Use experiment-designer for Product Management. We want to test replacing a 5-step onboarding checklist with a guided setup wizard for new B2B workspace admins. Current activation is 12% within 7 days. We care about activation as the primary metric, but must guardrail support tickets, setup completion time, and day-14 retention. Daily eligible users are about 1,200. We would ship only if uplift is at least 2 absolute percentage points and guardrails do not worsen materially.
Praktischer Workflow zur Experimentplanung
Beginne damit, den skill um eine If/Then/Because-Hypothese zu bitten — nicht sofort um einen vollständigen Testplan. Bitte ihn danach, eine primäre Metrik, Guardrail-Metriken, Diagnosemetriken und Ausschlussregeln zu definieren. Anschließend kannst du die Sample-Size-Planung ausführen oder anfordern, mit Baseline-Rate, MDE, alpha, power und täglichen Samples.
Für ein Conversion-Experiment kannst du das enthaltene Skript beispielsweise so nutzen:
python3 scripts/sample_size_calculator.py --baseline-rate 0.12 --mde 0.02 --mde-type absolute --daily-samples 1200
Nutze das Ergebnis dann, um zu entscheiden, ob das Experiment machbar ist, zu wenig Power hat oder mit einem größeren erwarteten Effekt, einer breiteren Population oder einer kostengünstigeren Lernmethode neu gerahmt werden sollte.
Prompt-Muster, das den skill gut aktiviert
Verwende einen Prompt in dieser Form:
Apply the experiment-designer skill. Create an experiment brief for
[intervention]targeting[segment]. Baseline[primary metric]is[value]; the smallest useful effect is[MDE]; daily eligible traffic is[volume]. Include hypothesis, primary/guardrail/diagnostic metrics, sample-size assumptions, ICE prioritization, stopping rules, launch checklist, and result interpretation guidance for ship/no-ship decisions.
Diese Struktur gibt dem Agenten die Informationen, die er braucht, um unklare Metriken, unrealistische Laufzeiten und nachträglich festgelegte Entscheidungsregeln zu vermeiden.
experiment-designer skill FAQ
Ist experiment-designer nur für A/B-Testing gedacht?
Nein. Der experiment-designer skill deckt A/B-Tests, multivariate Tests, Holdout-Tests, Hypothesenformulierung, Metrikauswahl, Priorisierung und Interpretation ab. Der integrierte Rechner ist allerdings speziell für Conversion-Experimente mit zwei Proportionen ausgelegt; andere Designs benötigen daher möglicherweise separate Methoden.
Können Einsteiger experiment-designer für Product Management nutzen?
Ja, besonders PMs, die eine praktische Anleitung für Experimentplanung brauchen, ohne tiefes Statistiktraining mitzubringen. Die Statistikreferenz erklärt Konzepte wie p-value, confidence interval, MDE, power, Type I/II errors und practical significance in Produktsprache. Einsteiger sollten Pläne trotzdem mit einem Analysten prüfen, wenn Entscheidungen teuer oder schwer rückgängig zu machen sind.
Wann sollte ich diesen skill nicht verwenden?
Verlasse dich nicht allein darauf bei sequenziellem Testen, Netzwerkeffekten, Marketplace-Interferenz, Langzeit-Retention-Studien, nicht-randomisierten Kausalaussagen oder Experimenten mit rechtlichen, medizinischen, finanziellen oder sicherheitsrelevanten Folgen. Der skill kann helfen, die Entscheidung zu strukturieren, garantiert aber keine valide Inferenz unter komplexen Annahmen.
Warum ist das besser, als einfach nach einem Experimentplan zu fragen?
Ein normaler Prompt kann einen gut klingenden Plan liefern und dabei MDE, Stoppregeln, Guardrails oder Machbarkeit übersehen. experiment-designer ist bewusst auf die Fehlerquellen ausgerichtet, die Produktexperimente häufig beschädigen: Metriken während des Tests ändern, zu häufig in Ergebnisse hineinschauen, Sample Size unterschätzen, statistische Signifikanz überbewerten und Implementierungskosten ignorieren.
So verbesserst du den experiment-designer skill
experiment-designer-Inputs verbessern, bevor du nach einem Plan fragst
Der schnellste Weg zu besseren experiment-designer-Ergebnissen sind echte Rahmenbedingungen. Ergänze Baseline-Conversion, gewünschte MDE, Traffic nach Segment, erwartete Laufzeit, Rollout-Grenzen, Instrumentierungsstatus und die Entscheidung, die das Ergebnis tragen soll. Wenn du diese Angaben nicht kennst, bitte den skill zuerst darum, Annahmen und fehlende Inputs aufzulisten, bevor er das Experiment Brief erstellt.
Auf typische Fehlerquellen achten
Prüfe den ersten Output auf diese Probleme: mehrere „primäre“ Metriken, vage Guardrails, keine Mindestlaufzeit, keine Hinweise zur Randomisierung, unrealistische Sample Size, Erfolgskriterien nur auf Basis des p-value oder Diagnosemetriken, die wie Ship/No-Ship-Gates behandelt werden. Bitte den skill, anhand der Checkliste in references/experiment-playbook.md zu überarbeiten.
Vom Brief zum Entscheidungs-Memo iterieren
Ein guter Workflow ist: grobe Idee → Experiment Brief → Sample-Size-Check → Machbarkeitsentscheidung → Launch-Checkliste → Interpretations-Memo. Wenn Ergebnisse vorliegen, gib beobachtete Effektgröße, confidence interval, p-value falls vorhanden, Guardrail-Ergebnisse, erreichte Sample Size und mögliche Datenqualitätsprobleme an. Bitte experiment-designer dann, statistische Signifikanz, praktische Signifikanz und empfohlene Produktmaßnahme voneinander zu trennen.
Den skill für dein Team erweitern
Teams können den skill verbessern, indem sie unternehmensspezifische Metrikdefinitionen, Standard-Guardrails, Konventionen der Experimentation-Plattform, freigegebene alpha/power-Defaults, Segmentierungsregeln und Beispiele früherer guter Entscheidungen ergänzen. Wenn eure Organisation viele Experimente mit kontinuierlichen Metriken durchführt oder sequenzielle Methoden nutzt, fügt separate Referenzen hinzu, statt den bestehenden Zwei-Proportionen-Rechner zu überfrachten.