experiment-designer
par alirezarezvaniexperiment-designer aide les équipes Product Management à concevoir des expériences A/B et des tests de fonctionnalités avec des hypothèses testables, des métriques, une planification de taille d’échantillon, une priorisation ICE, des règles d’arrêt et une interprétation des résultats.
Cette skill obtient 80/100, ce qui en fait une candidate solide pour les utilisateurs d’annuaires qui veulent qu’un agent structure des expériences produit avec plus de rigueur qu’un prompt générique. Elle propose des signaux d’activation clairs, un workflow exploitable, des références d’appui et un script pratique, même si son adoption serait facilitée par des consignes d’installation plus explicites et des outils statistiques plus complets.
- Périmètre de déclenchement clair pour la planification d’expériences produit, la rédaction d’hypothèses, l’estimation de taille d’échantillon, la priorisation ICE et l’interprétation des résultats A/B.
- Le workflow opérationnel donne aux agents des étapes concrètes : hypothèse If/Then/Because, hiérarchie des métriques, estimation de taille d’échantillon, scoring ICE, règles d’arrêt et interprétation.
- La divulgation progressive est utile, avec des références sur les playbooks d’expérimentation et les notions statistiques, ainsi qu’un script exécutable de calcul de taille d’échantillon.
- Aucune commande d’installation ni aucun README n’est présent dans le dossier de la skill ; les utilisateurs doivent donc déduire l’installation à partir des conventions générales du dépôt.
- Le calculateur inclus couvre les tests de conversion à deux proportions ; les tests basés sur des moyennes, les méthodes séquentielles et la planification de puissance multivariée ne sont pas implémentés.
Présentation de la skill experiment-designer
Ce que fait experiment-designer
experiment-designer est une skill de Product Management conçue pour transformer des idées produit en expérimentations testables, avec des hypothèses plus claires, des métriques définies à l’avance, une planification de taille d’échantillon, une priorisation ICE, des règles de lancement et une interprétation des résultats. Elle est particulièrement utile quand une équipe veut plus de rigueur que « faisons un A/B test », sans devoir construire tout un playbook d’expérimentation de zéro.
Utilisateurs et décisions pour lesquels elle est la plus adaptée
La skill experiment-designer convient aux PM, responsables growth, UX researchers, analystes et équipes startup qui préparent des A/B tests, des tests multivariés, des holdouts ou des expérimentations de fonctionnalités. Elle aide à répondre à des questions très concrètes : quelle est la métrique de décision ? Quel MDE vaut la peine d’être détecté ? Quel volume de trafic faut-il ? Quelle expérimentation lancer en premier ? À partir de quel niveau de confiance peut-on livrer, revenir en arrière ou relancer le test ?
Ce qui la distingue d’un prompt générique
Le repository inclut un workflow structuré dans SKILL.md, un playbook d’expérimentation produit dans references/experiment-playbook.md, une référence statistique accessible aux PM dans references/statistics-reference.md, ainsi qu’un script Python d’aide à l’estimation de taille d’échantillon pour deux proportions. Cette combinaison rend experiment-designer plus opérationnelle qu’un simple prompt de brainstorming : elle pousse l’agent à travailler la qualité des hypothèses, les guardrail metrics, les règles d’arrêt fixes et la significativité pratique.
Limites importantes avant installation
Ce n’est pas une plateforme complète d’expérimentation, une bibliothèque d’inférence causale ni un analytics SDK. Le script inclus scripts/sample_size_calculator.py cible les A/B tests à deux proportions ; les métriques continues, les ratio metrics, les tests séquentiels, l’assignation en clusters et les expérimentations complexes de marketplace nécessiteront donc une revue statistique supplémentaire. Utilisez-la pour améliorer la qualité de conception des expérimentations, pas pour remplacer la validation d’un analyste sur des décisions à fort enjeu.
Comment utiliser la skill experiment-designer
Installation de experiment-designer et premiers fichiers à lire
Installez la skill depuis le repository GitHub avec :
npx skills add alirezarezvani/claude-skills --skill experiment-designer
Après l’installation, lisez les fichiers dans cet ordre :
SKILL.mdpour le workflow principal et le contexte de déclenchement.references/experiment-playbook.mdpour les types d’expérimentations, la conception des métriques, les règles d’arrêt et les vérifications avant lancement.references/statistics-reference.mdpour les p-values, les intervalles de confiance, le MDE, la puissance et la significativité pratique.scripts/sample_size_calculator.pysi vous avez besoin d’estimer le trafic ou la durée nécessaire pour des tests de taux de conversion.
Le chemin de la skill est product-team/skills/experiment-designer.
Informations à fournir pour obtenir un résultat solide
Pour utiliser experiment-designer efficacement, ne vous limitez pas à une idée de fonctionnalité. Indiquez la zone produit, le segment utilisateur, l’intervention proposée, la métrique de référence actuelle, le mouvement attendu sur la métrique cible, le volume de trafic, les contraintes de lancement et le risque business. La skill fonctionne mieux lorsqu’elle peut distinguer la métrique principale de décision des guardrails et des métriques de diagnostic.
Prompt faible :
Design an experiment for our onboarding flow.
Prompt plus solide :
Use experiment-designer for Product Management. We want to test replacing a 5-step onboarding checklist with a guided setup wizard for new B2B workspace admins. Current activation is 12% within 7 days. We care about activation as the primary metric, but must guardrail support tickets, setup completion time, and day-14 retention. Daily eligible users are about 1,200. We would ship only if uplift is at least 2 absolute percentage points and guardrails do not worsen materially.
Workflow pratique pour planifier une expérimentation
Commencez par demander à la skill de produire une hypothèse au format If/Then/Because, plutôt qu’un plan de test complet d’emblée. Demandez-lui ensuite de définir une métrique principale, des guardrail metrics, des métriques de diagnostic et des règles d’exclusion. Puis lancez, ou demandez, une planification de taille d’échantillon à partir du taux de base, du MDE, de l’alpha, de la puissance et des échantillons quotidiens.
Pour une expérimentation de conversion, le script inclus peut être utilisé ainsi :
python3 scripts/sample_size_calculator.py --baseline-rate 0.12 --mde 0.02 --mde-type absolute --daily-samples 1200
Servez-vous ensuite du résultat pour décider si l’expérimentation est faisable, trop peu puissante, ou si elle doit être reformulée avec un effet attendu plus important, une population plus large ou une méthode d’apprentissage moins coûteuse.
Modèle de prompt qui active bien la skill
Utilisez un prompt structuré comme celui-ci :
Apply the experiment-designer skill. Create an experiment brief for
[intervention]targeting[segment]. Baseline[primary metric]is[value]; the smallest useful effect is[MDE]; daily eligible traffic is[volume]. Include hypothesis, primary/guardrail/diagnostic metrics, sample-size assumptions, ICE prioritization, stopping rules, launch checklist, and result interpretation guidance for ship/no-ship decisions.
Cette structure donne à l’agent les informations nécessaires pour éviter les métriques floues, les durées irréalistes et les règles de décision définies après coup.
FAQ de la skill experiment-designer
experiment-designer sert-elle uniquement aux A/B tests ?
Non. La skill experiment-designer couvre les A/B tests, les tests multivariés, les tests holdout, la rédaction d’hypothèses, la sélection des métriques, la priorisation et l’interprétation. En revanche, son calculateur intégré est spécifiquement conçu pour les expérimentations de conversion à deux proportions ; les autres designs peuvent donc nécessiter des méthodes séparées.
Les débutants peuvent-ils utiliser experiment-designer pour le Product Management ?
Oui, surtout les PM qui ont besoin d’un guide pratique pour planifier des expérimentations sans formation statistique approfondie. La référence statistique explique en langage produit des notions comme la p-value, l’intervalle de confiance, le MDE, la puissance, les erreurs de Type I/II et la significativité pratique. Les débutants doivent tout de même faire relire leurs plans par un analyste lorsque les décisions sont coûteuses ou difficiles à inverser.
Quand ne faut-il pas utiliser cette skill ?
Ne vous appuyez pas uniquement sur elle pour les tests séquentiels, les effets de réseau, les interférences de marketplace, les études de rétention long terme, les affirmations causales non randomisées ou les expérimentations ayant des conséquences juridiques, médicales, financières ou de sécurité. Elle peut aider à structurer la décision, mais elle ne garantit pas une inférence valide lorsque les hypothèses sont complexes.
En quoi est-ce mieux que demander simplement un plan d’expérimentation ?
Un prompt classique peut produire un plan bien présenté tout en oubliant le MDE, les règles d’arrêt, les guardrails ou la faisabilité. experiment-designer est volontairement orientée vers les modes d’échec qui dégradent souvent les expérimentations produit : changer de métriques en cours de route, regarder les résultats trop souvent, sous-estimer la taille d’échantillon, survaloriser la significativité statistique et ignorer le coût d’implémentation.
Comment améliorer la skill experiment-designer
Améliorer les inputs de experiment-designer avant de demander un plan
Le moyen le plus rapide d’améliorer les résultats de experiment-designer consiste à fournir de vraies contraintes. Ajoutez la conversion de référence, le MDE souhaité, le trafic par segment, la durée attendue, les limites de rollout, l’état de l’instrumentation et la décision que le résultat doit permettre de prendre. Si vous ne connaissez pas ces éléments, demandez à la skill de lister les hypothèses et les informations manquantes avant de rédiger l’experiment brief.
Surveiller les modes d’échec fréquents
Vérifiez si la première sortie présente l’un de ces problèmes : plusieurs métriques « principales », des guardrails vagues, aucune durée minimale d’exécution, aucune note sur la randomisation, une taille d’échantillon irréaliste, des critères de succès fondés uniquement sur la p-value, ou des diagnostics traités comme des critères de ship/no-ship. Demandez à la skill de réviser sa réponse à partir de la checklist dans references/experiment-playbook.md.
Itérer du brief au mémo de décision
Un bon workflow ressemble à ceci : idée approximative → experiment brief → vérification de la taille d’échantillon → décision de faisabilité → checklist de lancement → mémo d’interprétation. Une fois les résultats disponibles, fournissez la taille d’effet observée, l’intervalle de confiance, la p-value si elle existe, les résultats des guardrails, la taille d’échantillon atteinte et tout problème de qualité de données. Demandez ensuite à experiment-designer de séparer significativité statistique, significativité pratique et action produit recommandée.
Étendre la skill pour votre équipe
Les équipes peuvent améliorer la skill en ajoutant des définitions de métriques propres à l’entreprise, des guardrails standards, les conventions de leur plateforme d’expérimentation, les valeurs alpha/puissance approuvées par défaut, les règles de segmentation et des exemples de bonnes décisions passées. Si votre organisation mène de nombreuses expérimentations sur des métriques continues ou utilise des méthodes séquentielles, ajoutez des références séparées plutôt que de surcharger le calculateur existant à deux proportions.