Thiết lập A/B test

Lập kế hoạch thử nghiệm có giá trị thống kê với giả thuyết rõ, một biến được cô lập, cỡ mẫu chốt trước, metric gắn với kinh doanh, rollout có guardrail và bài học tái dùng được.

Hiểu bối cảnh

Viết giả thuyết

Chọn kiểu test

Tính cỡ mẫu

Nguyên tắc 01

Bắt đầu bằng giả thuyết có dữ liệu hoặc lý do rõ, không thử vu vơ.

Nguyên tắc 02

Chỉ kiểm thử một biến có ý nghĩa để kết quả còn diễn giải được.

Nguyên tắc 03

Chốt trước cỡ mẫu, thời lượng, metric chính và guardrail trước khi chạy.

Nguyên tắc 04

Đánh giá cả ý nghĩa thống kê lẫn ý nghĩa kinh doanh trước khi khuyến nghị rollout.

Bản đồ thực thi

Các nhánh chính từ đầu vào đến kết quả, bám theo cách command chạy khi dùng thật.

Khởi động

Đầu vào, phạm vi, route

1 Hiểu bối cảnh Làm rõ thứ cần cải thiện, thay đổi đang cân nhắc, lý do kiểm thử, conversion nền, traffic, lịch sử test, timeline, công cụ và độ phức tạp triển khai.
2 Viết giả thuyết Dùng khung “Vì… chúng ta tin… sẽ tạo ra… cho… và biết đúng khi…” để thí nghiệm có dự đoán rõ cho một nhóm người dùng cụ thể.
3 Chọn kiểu test Chọn A/B, A/B/n, multivariate, split URL hoặc rollout bằng feature flag dựa trên traffic, rủi ro triển khai và số biến cần cô lập.

Xử lý

Agent / skill thực thi

4 Tính cỡ mẫu Tính cỡ mẫu từ conversion nền, MDE, mức ý nghĩa, power, số biến thể, traffic và số chu kỳ kinh doanh tối thiểu cần chạy.
5 Chọn metric Định nghĩa một metric chính gắn với giả thuyết, metric phụ để giải thích, và guardrail như doanh thu, retention, hài lòng, hoàn tiền hoặc activation.
6 Thiết kế biến thể Ghi lại control không đổi và một biến thể đủ mạnh; giữ biến thay đổi đủ cụ thể để nếu thắng thì biết chính xác điều gì hiệu quả.

Kiểm chứng

Gate, review, xác thực

7 Lập cách triển khai Chọn client-side, server-side, split URL hoặc rollout theo phần trăm; chia traffic đều hoặc thận trọng nhưng phải giữ người dùng quay lại thấy cùng biến thể.
8 QA trước khi chạy Kiểm tra giả thuyết, định nghĩa metric, cỡ mẫu, thời lượng, hiển thị biến thể, tracking, QA mọi biến thể và thông báo stakeholder trước khi launch.
9 Chạy đúng kỷ luật Theo dõi lỗi kỹ thuật và chất lượng segment, ghi nhận yếu tố bên ngoài, nhưng không sửa biến thể, không thêm nguồn traffic mới và không dừng sớm.

Đóng

Báo cáo, bàn giao, artifact

10 Phân tích và học Xác nhận cỡ mẫu, ý nghĩa thống kê, độ lớn tác động, metric phụ, tác động guardrail và segment; ghi quyết định, hành động, bài học và test tiếp theo.

Prompt mẫu

Ví dụ gọi command theo từng flag, subcommand, mode hoặc route dùng được trong workflow thực tế.

Test trang pricing Khuyến nghị

/ak:ab-test-setup trang định giá

Dùng khi:: Khi cần kế hoạch kiểm thử một thay đổi trên trang pricing.
Kết quả:: Nhận giả thuyết, metric, nhu cầu cỡ mẫu, biến thể, cách rollout và kế hoạch phân tích.

Test tính năng

/ak:ab-test-setup luồng đăng ký

Dùng khi:: Khi một tính năng hoặc bước funnel cần được xác thực có kiểm soát.
Kết quả:: Thiết kế test nêu cách triển khai, chia traffic, guardrail và tiêu chí thành công.

Test CTA checkout

/ak:ab-test-setup màu CTA thanh toán

Dùng khi:: Một thay đổi CTA checkout cần kế hoạch thí nghiệm có giá trị thống kê.
Kết quả:: Giả thuyết, một biến cô lập, cỡ mẫu, metric chính, guardrail và kế hoạch rollout.

Phạm vi xử lý

Thiết kế giả thuyết
Tính cỡ mẫu
Chọn metric và guardrail
Ghi tài liệu biến thể
Phân tích thí nghiệm

Artifact tạo ra

Kế hoạch thí nghiệm

Mẫu đường dẫn

A/B Test: [Tên] gồm giả thuyết, thiết kế, biến thể, metric, triển khai và kế hoạch phân tích.

Định dạng đầu ra của skill là kế hoạch test trước; khi test kết thúc thì bổ sung tóm tắt kết quả và khuyến nghị.

Bản đồ thực thi

Prompt mẫu

Phạm vi xử lý

Artifact tạo ra

Tiếp theo