experiment-designer
작성자 alirezarezvaniexperiment-designer는 Product Management 팀이 검증 가능한 가설, 지표, 표본 크기 계획, ICE 우선순위화, 중단 규칙, 결과 해석을 바탕으로 A/B 실험과 기능 실험을 설계하도록 돕습니다.
이 skill은 80/100점으로, 일반 프롬프트보다 더 엄밀한 방식으로 제품 실험을 구조화해 줄 에이전트를 원하는 디렉터리 사용자에게 충분히 추천할 만한 항목입니다. 활성화 단서가 명확하고, 실행 가능한 워크플로와 보조 참고 자료, 실용적인 스크립트를 갖추고 있습니다. 다만 설치 안내가 더 분명하고 통계 도구 범위가 넓었다면 도입이 더 쉬웠을 것입니다.
- 제품 실험 계획, 가설 작성, 표본 크기 추정, ICE 우선순위화, A/B 결과 해석에 대한 트리거 범위가 명확합니다.
- If/Then/Because 가설, 지표 계층, 표본 크기 추정, ICE 점수화, 중단 규칙, 해석까지 에이전트가 따를 수 있는 구체적인 운영 흐름을 제공합니다.
- 실험 플레이북 가이드와 통계 개념을 다루는 참고 자료, 실행 가능한 표본 크기 계산 스크립트를 통해 필요한 정보를 단계적으로 확인할 수 있습니다.
- skill 폴더에 설치 명령이나 README가 없어, 사용자가 더 큰 저장소의 관례를 바탕으로 설치 방법을 추론해야 합니다.
- 포함된 계산기는 두 비율 전환 테스트만 다룹니다. 평균 기반 테스트, 순차적 방법, 다변량 검정력 계획은 구현되어 있지 않습니다.
experiment-designer skill 개요
experiment-designer가 하는 일
experiment-designer는 제품 아이디어를 검증 가능한 실험으로 바꾸는 Product Management skill입니다. 더 명확한 가설, 사전에 정의한 지표, 표본 크기 계획, ICE 우선순위화, 출시 기준, 결과 해석까지 포함해 실험 설계를 체계화합니다. 팀이 “일단 A/B 테스트해 보자”보다 더 높은 엄밀함을 원하지만, 처음부터 완전한 실험 플레이북을 만들고 싶지는 않을 때 특히 유용합니다.
가장 잘 맞는 사용자와 의사결정
experiment-designer skill은 A/B 테스트, 다변량 테스트, 홀드아웃, 기능 실험을 계획하는 PM, 그로스 리드, UX 리서처, 애널리스트, 스타트업 팀에 잘 맞습니다. 다음과 같은 실무 질문에 답하도록 돕습니다. 의사결정 지표는 무엇인가? 감지할 가치가 있는 MDE는 어느 정도인가? 필요한 트래픽은 얼마나 되는가? 어떤 실험을 먼저 실행해야 하는가? 어떤 결과라면 출시, 롤백, 재실험을 결정할 만큼 신뢰할 수 있는가?
일반 프롬프트와 다른 점
이 저장소에는 SKILL.md의 구조화된 워크플로, references/experiment-playbook.md의 제품 실험 플레이북, references/statistics-reference.md의 PM 친화적인 통계 참고 자료, 그리고 두 비율 표본 크기 추정을 위한 Python 헬퍼 스크립트가 포함되어 있습니다. 이 조합 덕분에 experiment-designer는 일반적인 브레인스토밍 프롬프트보다 훨씬 실행 지향적입니다. 에이전트가 가설의 품질, 가드레일 지표, 고정된 중단 규칙, 실질적 유의성을 더 일관되게 고려하도록 유도합니다.
설치 전에 알아야 할 중요한 한계
이 skill은 완전한 실험 플랫폼, 인과추론 라이브러리, 분석 SDK가 아닙니다. 포함된 scripts/sample_size_calculator.py는 두 비율 A/B 테스트를 대상으로 하므로, 연속형 지표, 비율 지표, 순차 테스트, 클러스터 단위 배정, 복잡한 마켓플레이스 실험에는 별도의 통계 검토가 필요합니다. 중요한 의사결정에서 애널리스트 검증을 대체하기보다는, 실험 설계의 품질을 높이는 용도로 사용하세요.
experiment-designer skill 사용 방법
experiment-designer 설치와 먼저 읽을 파일
GitHub 저장소에서 다음 명령으로 skill을 설치합니다.
npx skills add alirezarezvani/claude-skills --skill experiment-designer
설치 후에는 아래 순서로 파일을 읽는 것이 좋습니다.
SKILL.md: 핵심 워크플로와 트리거되는 사용 맥락을 확인합니다.references/experiment-playbook.md: 실험 유형, 지표 설계, 중단 규칙, 출시 전 점검 항목을 확인합니다.references/statistics-reference.md: p-value, 신뢰구간, MDE, 검정력, 실질적 유의성을 확인합니다.scripts/sample_size_calculator.py: 전환율 테스트의 트래픽 또는 실행 기간을 추정해야 할 때 확인합니다.
skill 경로는 product-team/skills/experiment-designer입니다.
좋은 결과를 위해 experiment-designer에 제공해야 할 입력
experiment-designer를 제대로 활용하려면 단순한 기능 아이디어 이상을 제공해야 합니다. 제품 영역, 사용자 세그먼트, 제안하는 개입, 현재 기준 지표, 목표 지표 변화, 트래픽 규모, 출시 제약, 비즈니스 리스크를 포함하세요. 이 skill은 주요 의사결정 지표와 가드레일, 진단 지표를 구분할 수 있을 때 가장 좋은 결과를 냅니다.
약한 프롬프트:
Design an experiment for our onboarding flow.
더 나은 프롬프트:
Use experiment-designer for Product Management. We want to test replacing a 5-step onboarding checklist with a guided setup wizard for new B2B workspace admins. Current activation is 12% within 7 days. We care about activation as the primary metric, but must guardrail support tickets, setup completion time, and day-14 retention. Daily eligible users are about 1,200. We would ship only if uplift is at least 2 absolute percentage points and guardrails do not worsen materially.
실험을 계획하는 실무 워크플로
처음부터 테스트 계획을 요청하기보다, 먼저 If/Then/Because 형태의 가설을 만들도록 요청하세요. 그다음 주요 지표 1개, 가드레일 지표, 진단 지표, 제외 규칙을 정의하게 합니다. 이어서 기준 전환율, MDE, alpha, power, 일일 표본 수를 사용해 표본 크기 계획을 실행하거나 요청합니다.
전환 실험에서는 포함된 스크립트를 다음처럼 사용할 수 있습니다.
python3 scripts/sample_size_calculator.py --baseline-rate 0.12 --mde 0.02 --mde-type absolute --daily-samples 1200
그 결과를 바탕으로 실험이 실행 가능한지, 검정력이 너무 낮은지, 더 큰 기대 효과나 더 넓은 모집단, 더 낮은 비용의 학습 방식으로 재구성해야 하는지 판단합니다.
skill을 잘 호출하는 프롬프트 패턴
다음과 같은 형태의 프롬프트를 사용하세요.
Apply the experiment-designer skill. Create an experiment brief for
[intervention]targeting[segment]. Baseline[primary metric]is[value]; the smallest useful effect is[MDE]; daily eligible traffic is[volume]. Include hypothesis, primary/guardrail/diagnostic metrics, sample-size assumptions, ICE prioritization, stopping rules, launch checklist, and result interpretation guidance for ship/no-ship decisions.
이 구조는 에이전트가 모호한 지표, 비현실적인 실행 기간, 사후적으로 정하는 의사결정 규칙을 피하는 데 필요한 정보를 제공합니다.
experiment-designer skill FAQ
experiment-designer는 A/B 테스트 전용인가요?
아닙니다. experiment-designer skill은 A/B 테스트, 다변량 테스트, 홀드아웃 테스트, 가설 작성, 지표 선택, 우선순위화, 해석을 다룹니다. 다만 내장 계산기는 두 비율 전환 실험에 특화되어 있으므로, 다른 설계에는 별도의 방법이 필요할 수 있습니다.
Product Management 초보자도 experiment-designer를 사용할 수 있나요?
네. 특히 깊은 통계 지식 없이도 실험 계획을 실무적으로 세우고 싶은 PM에게 유용합니다. 통계 참고 자료는 p-value, 신뢰구간, MDE, 검정력, Type I/II 오류, 실질적 유의성 같은 개념을 제품 관점의 언어로 설명합니다. 다만 비용이 크거나 되돌리기 어려운 의사결정이라면 초보자는 반드시 애널리스트와 함께 계획을 검토해야 합니다.
이 skill을 사용하지 말아야 할 때는 언제인가요?
순차 테스트, 네트워크 효과, 마켓플레이스 간섭, 장기 리텐션 연구, 무작위 배정이 없는 인과 주장, 법률·의료·금융·안전상 결과가 따르는 실험에는 이 skill만 단독으로 의존하지 마세요. 의사결정 구조를 잡는 데는 도움이 되지만, 복잡한 가정 아래에서 유효한 추론을 보장하지는 않습니다.
그냥 실험 계획을 요청하는 것보다 나은 점은 무엇인가요?
일반 프롬프트는 그럴듯한 계획을 만들 수 있지만 MDE, 중단 규칙, 가드레일, 실행 가능성을 놓치기 쉽습니다. experiment-designer는 제품 실험을 자주 망치는 실패 모드에 맞춰 설계되어 있습니다. 중간에 지표를 바꾸는 일, 너무 자주 들여다보는 일, 표본 크기를 과소평가하는 일, 통계적 유의성만 과대평가하는 일, 구현 비용을 무시하는 일을 줄이는 데 초점을 둡니다.
experiment-designer skill 개선 방법
계획을 요청하기 전에 experiment-designer 입력부터 개선하기
experiment-designer의 출력 품질을 가장 빠르게 높이는 방법은 실제 제약 조건을 제공하는 것입니다. 기준 전환율, 원하는 MDE, 세그먼트별 트래픽, 예상 실행 기간, 롤아웃 제한, 계측 상태, 결과가 뒷받침해야 하는 의사결정을 추가하세요. 이 값을 모른다면 실험 브리프를 작성하기 전에 skill에게 가정과 누락된 입력을 먼저 나열해 달라고 요청하세요.
흔한 실패 모드 확인하기
첫 출력에서 다음 문제가 있는지 확인하세요. “주요” 지표가 여러 개인지, 가드레일이 모호한지, 최소 실행 기간이 없는지, 무작위 배정 관련 메모가 없는지, 표본 크기가 비현실적인지, 성공 기준이 p-value에만 기반하는지, 진단 지표가 출시/미출시의 관문처럼 취급되는지 살펴보세요. references/experiment-playbook.md의 체크리스트에 맞춰 수정해 달라고 요청하면 좋습니다.
브리프에서 의사결정 메모까지 반복하기
좋은 워크플로는 다음 순서입니다. 러프한 아이디어 → 실험 브리프 → 표본 크기 확인 → 실행 가능성 판단 → 출시 체크리스트 → 해석 메모. 결과가 나온 뒤에는 관측된 효과 크기, 신뢰구간, 가능하다면 p-value, 가드레일 결과, 도달한 표본 크기, 데이터 품질 이슈를 제공하세요. 그런 다음 experiment-designer에게 통계적 유의성, 실질적 유의성, 권장 제품 조치를 분리해 정리하도록 요청합니다.
팀에 맞게 skill 확장하기
팀은 회사별 지표 정의, 표준 가드레일, 실험 플랫폼 관례, 승인된 alpha/power 기본값, 세그먼트 규칙, 과거의 좋은 의사결정 사례를 추가해 skill을 개선할 수 있습니다. 조직에서 연속형 지표 기반 실험을 많이 하거나 순차 방법을 사용한다면, 기존 두 비율 계산기에 억지로 끼워 넣기보다 별도의 참고 자료를 추가하세요.