ab-test-setup

Tổng quan

ab-test-setup là gì?

ab-test-setup là một kỹ năng dùng để thiết kế các thử nghiệm A/B và đa biến một cách bài bản trước khi bất kỳ thay đổi nào được đưa lên môi trường thật. Nó hướng dẫn AI assistant đóng vai chuyên gia experimentation: làm rõ mục tiêu test, xây dựng giả thuyết vững, chọn chỉ số phù hợp và lập kế hoạch cỡ mẫu cùng thời lượng test dựa trên các tài liệu tham chiếu có cấu trúc.

Thay vì lao ngay vào chạy split test, ab-test-setup giúp bạn tạo một kế hoạch thử nghiệm chắc chắn để kết quả có ý nghĩa thống kê và có thể hành động được, chứ không chỉ là nhiễu.

Kỹ năng này dành cho ai?

Hãy dùng ab-test-setup nếu bạn là:

• Team growth hoặc product marketing đang lên kế hoạch thử nghiệm trên landing page, luồng onboarding hoặc trang pricing.
• Performance marketer tối ưu quảng cáo, creative chiến dịch hoặc funnel và cần các thử nghiệm có cơ sở thống kê.
• Team SEO và content muốn test headline, layout hoặc call to action trên các trang có giá trị cao.
• Developer và product manager hỗ trợ experimentation và muốn có một framework lập kế hoạch nhất quán, được tài liệu hóa.

Nếu bạn chỉ cần ý tưởng về nội dung hoặc thay đổi bố cục mà không định test chúng, thì kỹ năng này là quá nặng; hãy dùng kỹ năng content hoặc CRO của bạn thay thế.

ab-test-setup giải quyết vấn đề gì?

Kỹ năng này được thiết kế cho các tình huống người dùng nói những câu như:

• "Chúng tôi muốn A/B test headline trên homepage."
• "Có nên chạy multivariate test cho những thành phần này không?"
• "Phiên bản nào tốt hơn và nên test như thế nào?"
• "Thử nghiệm này nên chạy trong bao lâu?"
• "Traffic hiện tại có đủ cho test này không?"

ab-test-setup tập trung vào:

• Làm rõ bối cảnh: bạn đang cố cải thiện điều gì, hiệu suất baseline và các ràng buộc.
• Xây dựng giả thuyết mạnh bằng một framework có cấu trúc.
• Chọn loại test (A/B, A/B/n hay multivariate) dựa trên traffic và mục tiêu.
• Lên kế hoạch cỡ mẫu và thời lượng dựa vào tài liệu hướng dẫn cỡ mẫu đi kèm.
• Định nghĩa hệ thống chỉ số (primary, secondary và guardrail) phù hợp với mục tiêu kinh doanh.
• Tránh lỗi thường gặp như test quá nhiều biến thể với traffic thấp hoặc ra quyết định quá sớm ("peeking").

Để triển khai tracking, hãy dùng kỹ năng analytics-tracking. Để có ý tưởng tối ưu chuyển đổi ở cấp trang, hãy dùng page-cro song song với ab-test-setup.

Khi nào ab-test-setup là lựa chọn phù hợp?

Kỹ năng này phù hợp khi:

• Bạn đang so sánh hai hoặc nhiều phương án và cần đo lường phương án nào hiệu quả hơn.
• Bạn có hoặc kỳ vọng có đủ traffic để chạy A/B test có ý nghĩa.
• Bạn quan tâm đến ý nghĩa thống kê và tránh “thắng giả”.
• Có nhiều bên liên quan cần một kế hoạch test rõ ràng, được ghi chép đầy đủ.

Nó không phù hợp lắm khi:

• Bạn có traffic cực thấp khiến A/B test có ý nghĩa là không khả thi.
• Bạn chỉ thực hiện thay đổi thiết kế một lần mà không đo lường.
• Bạn chỉ cần thiết lập analytics hoặc event tracking (hãy dùng analytics-tracking).

Cách sử dụng

Cài đặt

Cài đặt ab-test-setup vào môi trường agent của bạn bằng skills CLI:

npx skills add https://github.com/coreyhaines31/marketingskills --skill ab-test-setup

Sau khi cài đặt:

1. Mở thư mục skills/ab-test-setup trong editor hoặc trình xem file của bạn.
2. Bắt đầu với SKILL.md để hiểu cách assistant nên tiếp cận việc lập kế hoạch A/B test.
3. Xem qua các thư mục references/ và evals/ để nắm được tài liệu hỗ trợ và hành vi kỳ vọng.

Các file và thư mục quan trọng

Để nhanh chóng nhận được giá trị, hãy tập trung vào các file sau:

• SKILL.md – Hướng dẫn cốt lõi. Xác định mindset về experimentation, các câu hỏi đánh giá ban đầu và các nguyên tắc như luôn bắt đầu bằng giả thuyết và chỉ test một yếu tố chính mỗi lần.
• references/sample-size-guide.md – Hướng dẫn tính toán hoặc ước lượng cỡ mẫu, hiểu minimum detectable effect (MDE) và lập kế hoạch thời lượng test.
• references/test-templates.md – Các template sẵn dùng cho kế hoạch test, tài liệu kết quả và cập nhật cho stakeholder.
• evals/evals.json – Các ví dụ prompt và output kỳ vọng cho thấy kỹ năng nên hoạt động thế nào trong các tình huống thực tế.

Hãy dùng chúng làm tài liệu tham chiếu khi cấu hình agent, hoặc để chuẩn hóa tài liệu nội bộ về experimentation theo cùng một cấu trúc.

Quy trình làm việc điển hình với ab-test-setup

Kỹ năng này được thiết kế xoay quanh một quy trình experimentation có thể lặp lại.

1. Thu thập bối cảnh

Khi người dùng yêu cầu A/B test, agent trước tiên nên hiểu rõ:

• Bối cảnh test – Đang test trang, tính năng hay kênh nào? Đang cân nhắc thay đổi gì?
• Hiện trạng – Tỷ lệ chuyển đổi hoặc chỉ số chính hiện tại, volume traffic.
• Ràng buộc – Hạn chế kỹ thuật, độ phức tạp triển khai, timeline và công cụ sử dụng (ví dụ: Optimizely, giải pháp thay thế Google Optimize, framework in-house).

Nếu bạn có một file bối cảnh product marketing dùng chung (ví dụ product-marketing-context.md mô tả trong repo), agent nên đọc nó trước và chỉ hỏi thêm những thông tin còn thiếu hoặc đặc thù cho test.

2. Xây dựng giả thuyết rõ ràng

ab-test-setup khuyến khích một định dạng giả thuyết có cấu trúc, như trong evals/evals.json và references/test-templates.md:

Because [observation], we believe [change] will cause [outcome], which we'll measure by [metric].

Trong thực tế, agent nên:

• Biến các ý tưởng mơ hồ ("thử headline nhấn mạnh lợi ích") thành dự đoán cụ thể.
• Liên kết từng giả thuyết với dữ liệu hoặc quan sát rõ ràng (analytics, nghiên cứu, phản hồi người dùng).
• Gắn outcome trực tiếp với chỉ số kinh doanh chính (ví dụ: tỷ lệ signup, tỷ lệ add-to-cart).

3. Chọn thiết kế test phù hợp

Dựa trên các nguyên tắc trong SKILL.md và ví dụ trong evals/evals.json, agent sẽ giúp quyết định:

• A/B, A/B/n hay multivariate – Ví dụ: hạn chế việc test bốn màu nút với traffic rất nhỏ nếu điều đó khiến test bị underpowered.
• Tập trung một biến chính – Khuyến khích chỉ test một thay đổi chính mỗi lần để dễ diễn giải kết quả.
• Phân bổ traffic – Thường là 50/50 cho A/B đơn giản, nhưng các template có hỗ trợ cấu hình phức tạp hơn.

Điều này đặc biệt hữu ích cho team marketing và SEO, những người dễ có xu hướng muốn test quá nhiều yếu tố cùng lúc.

4. Lập kế hoạch cỡ mẫu và thời lượng

File references/sample-size-guide.md cung cấp cho agent một framework để:

• Giải thích tỷ lệ chuyển đổi baseline, MDE, mức ý nghĩa (significance) và power.
• Dùng bảng tra nhanh hoặc công thức để ước lượng cỡ mẫu cho mỗi biến thể.
• Chuyển cỡ mẫu đó thành thời lượng test ước tính dựa trên traffic.
• Nêu bật các lỗi thường gặp, như test underpowered hoặc bỏ qua điều chỉnh khi có nhiều biến thể.

Ví dụ, trong một evaluation prompt, agent được kỳ vọng sẽ ước lượng cỡ mẫu cần thiết với 15.000 visitor/tháng và baseline 3,2%, rồi đề xuất thời lượng test thực tế.

5. Định nghĩa chỉ số và guardrail

Dựa trên pattern trong test-templates.md, agent nên giúp bạn:

• Chọn primary metric đại diện cho outcome chính (ví dụ: tỷ lệ signup).
• Thêm secondary metrics để hiểu sâu hơn (ví dụ: click-through rate, micro-conversion).
• Đặt guardrail metrics để tránh tác động tiêu cực (ví dụ: bounce rate, error rate, revenue per visitor).

Điều này đặc biệt có giá trị trong các thử nghiệm tối ưu quảng cáo và nội dung SEO, nơi các “thắng lợi cục bộ” có thể làm hại hiệu suất tổng thể nếu bỏ qua guardrail.

6. Tạo kế hoạch test có cấu trúc

Với thông tin đã thu thập, agent có thể xuất ra một kế hoạch dựa trên các template trong references/test-templates.md, bao gồm:

• Tổng quan và thông tin owner.
• Giả thuyết và lý do.
• Thiết kế test và ghi chú triển khai.
• Mô tả các biến thể (control và challenger).
• Định nghĩa chỉ số và kế hoạch phân đoạn (segmentation).

Bạn có thể dán kế hoạch này vào công cụ experimentation, tài liệu nội bộ hoặc ticket JIRA để giữ cho các test nhất quán và dễ review.

ab-test-setup phối hợp với các kỹ năng khác như thế nào

• Với analytics-tracking: ab-test-setup xác định cái gì và tại sao cần test; analytics-tracking xác định cách thu thập event, goal hoặc conversion.
• Với page-cro: page-cro giúp tạo ý tưởng về những gì cần thay đổi; ab-test-setup quyết định ý tưởng nào test trước và test như thế nào.

Hãy dùng chúng cùng nhau cho một quy trình experimentation trọn vẹn: lên ý tưởng → ưu tiên → thiết kế test → triển khai → phân tích.

Câu hỏi thường gặp

Khi nào tôi nên dùng ab-test-setup thay vì đơn giản là chỉnh sửa trang?

Hãy dùng ab-test-setup khi:

• Thay đổi đó có thể tạo tác động kinh doanh đáng kể (ví dụ: bước trong core funnel, trang có traffic cao).
• Stakeholder sẽ hỏi "Thực sự nó có hiệu quả không?" và bạn cần bằng chứng đáng tin.
• Bạn đang tối ưu các hoạt động marketing hoặc SEO liên tục và muốn một quy trình lặp lại được.

Với những thay đổi nhỏ, mang tính “trang trí” và bạn không định đo lường tác động, thì không cần lập kế hoạch A/B test đầy đủ.

ab-test-setup có tính được cỡ mẫu chính xác không?

Kỹ năng này không chứa thư viện calculator chuyên dụng. Thay vào đó, nó dùng logic và ví dụ trong references/sample-size-guide.md để:

• Giải thích bạn cần những input nào.
• Ước lượng cỡ mẫu hợp lý hoặc hướng dẫn bạn đến các công cụ calculator online.
• Cảnh báo khi traffic của bạn có khả năng quá thấp để test đáng tin cậy.

Với các bối cảnh tối quan trọng hoặc chịu nhiều quy định, bạn vẫn nên xác nhận lại phép tính với team analytics hoặc data science.

Tôi có thể dùng ab-test-setup cho hơn hai biến thể không?

Có. Dù ý tưởng cốt lõi là A/B testing, tài liệu và template đều hỗ trợ thử nghiệm A/B/n và multivariate. Kỹ năng cũng nhấn mạnh rằng thêm nhiều biến thể sẽ cần cỡ mẫu lớn hơn và thời lượng lâu hơn, điều này được đề cập trong sample-size guide.

ab-test-setup xử lý “peeking” và dừng sớm như thế nào?

Các evaluation prompt yêu cầu rõ ràng rằng agent phải:

• Cảnh báo về vấn đề peeking (xem kết quả quá thường xuyên và dừng test sớm).
• Đề xuất thời lượng test cố định hoặc ngưỡng cỡ mẫu trước khi tuyên bố người thắng.

Điều này giúp giữ độ vững thống kê, đặc biệt trong các quyết định marketing và sản phẩm có rủi ro cao.

ab-test-setup chỉ dùng cho web page thôi sao?

Không. Các nguyên tắc này có thể áp dụng cho:

• Thử nghiệm trên website và landing page.
• Test sản phẩm trong ứng dụng.
• Test email và các hành trình lifecycle.
• Thử nghiệm creative và thông điệp quảng cáo.

Bất cứ nơi nào bạn có thể phân bổ ngẫu nhiên người dùng vào các biến thể và theo dõi kết quả, ab-test-setup đều có thể giúp thiết kế thử nghiệm.

Làm sao biết tôi có đủ traffic để chạy A/B test?

Hãy dùng hướng dẫn trong references/sample-size-guide.md:

• Bắt đầu với tỷ lệ chuyển đổi baseline và số visitor hàng tháng.
• Xác định minimum detectable effect – mức thay đổi nhỏ nhất đáng để bạn phát hiện.
• Dùng bảng hoặc công thức để ước lượng cỡ mẫu cần cho mỗi biến thể.
• So sánh với traffic hiện tại để xem test có thể hoàn thành trong thời gian hợp lý hay không.

Nếu thời lượng cần thiết quá dài, agent có thể gợi ý:

• Gộp các trang hoặc chiến dịch tương tự để tăng cỡ mẫu.
• Test những thay đổi lớn hơn, có tác động mạnh hơn (MDE lớn hơn).
• Dùng các phương pháp nghiên cứu khác (qualitative feedback, user testing) thay cho A/B testing.

Nếu tôi chỉ muốn ý tưởng nội dung hoặc thiết kế thì sao?

ab-test-setup giả định rằng bạn muốn đo lường phiên bản nào thắng. Nếu bạn chỉ muốn ý tưởng về copy hoặc layout mà không định chạy test:

• Hãy dùng kỹ năng tập trung vào content hoặc CRO (như page-cro) để tạo ý tưởng.
• Sau đó, nếu bạn quyết định muốn validate các ý tưởng này bằng thử nghiệm, có thể quay lại dùng ab-test-setup.

Tôi có thể xem ví dụ output tốt của kỹ năng này ở đâu?

Xem evals/evals.json trong thư mục ab-test-setup. Trong đó có các prompt mang tính thực tế (ví dụ: test headline trên homepage hoặc màu nút) và mô tả chi tiết kỳ vọng về cách agent nên phản hồi, bao gồm:

• Cấu trúc giả thuyết.
• Lập luận về cỡ mẫu và thời lượng.
• Lựa chọn chỉ số.
• Cảnh báo về các lỗi thường gặp.

Bạn có thể dùng các ví dụ này như benchmark khi tích hợp hoặc tùy chỉnh kỹ năng trong môi trường của riêng bạn.