Thống kê cho người làm marketing

Chạy test đủ mẫu, kết luận đúng

Tính số người cần có trước khi chạy, rồi kiểm định kết quả bằng p-value và khoảng tin cậy. Không phán đoán bằng cảm giác hoặc cắt test khi thấy số đẹp.

  • Kiểm định hai tỷ lệ
  • Có p-value & khoảng tin cậy
  • Không gửi số liệu lên máy chủ

1. Trước khi chạy: cần bao nhiêu người?

% người hoàn tất mục tiêu (đơn, form, tin nhắn…)
Tăng tương đối, ví dụ 25% → từ 2,5% lên 3,125%
Xác suất kết luận có khác biệt khi thực tế không có
Xác suất phát hiện được mức tăng nếu nó thật sự tồn tại
Càng nhiều phiên bản, mỗi nhánh càng cần nhiều người
Số người có thể chia vào test mỗi ngày

Cỡ mẫu phải được chốt trước khi chạy. Nếu vừa chạy vừa xem rồi dừng khi p-value đẹp, xác suất kết luận sai tăng lên đáng kể. Với A/B/C trở lên, công cụ chia α theo Bonferroni; đây là cách bảo thủ, không phải cách duy nhất.

2. Sau khi chạy: kết quả có đáng tin?

Tổng người vào nhánh A
Số đơn, form hoặc tin nhắn hoàn tất
Tổng người vào nhánh B
Số đơn, form hoặc tin nhắn hoàn tất
Dùng hai phía (two-sided)

Công cụ so sánh hai tỷ lệ với kiểm định z hai phía. Kết quả không thay thế việc kiểm tra chất lượng dữ liệu: nhiễu tracking, chia nhánh lệch hoặc thay đổi traffic giữa test đều có thể làm sai kết luận.

Trước khi kết luận

  • Chốt cỡ mẫu và thời gian chạy trước; không dừng sớm chỉ vì p-value đẹp.
  • Kiểm tra chia nhánh, tracking và traffic có bất thường giữa hai nhánh không.
  • Chọn một chỉ số chính từ trước; đừng chọn chỉ số đẹp nhất sau khi xem kết quả.

Khi nào kết quả A/B test đáng tin?

Một test đáng tin cần ba điều: cỡ mẫu đủ lớn được chốt trước khi chạy, chia nhánh ngẫu nhiên và không đổi cách đo giữa đường. Nếu thiếu một trong ba, p-value có thể đẹp nhưng kết luận vẫn sai.

n mỗi nhánh = (z1−α/2·√(2p̄(1−p̄)) + z1−β·√(p₁(1−p₁)+p₂(1−p₂)))² ÷ (p₂−p₁)²

Ba lỗi thường gặp

  • Dừng khi thấy p < 0,05. Xem kết quả nhiều lần rồi dừng ở lần đẹp làm tăng dương tính giả.
  • So sánh quá nhiều nhánh. Càng nhiều phiên bản, càng dễ có một nhánh “thắng” do may mắn; cần chia α hoặc dùng phương pháp phù hợp.
  • Nhầm ý nghĩa thống kê với ý nghĩa kinh doanh. Tăng 1% có thể có ý nghĩa thống kê nhưng không đáng chi phí triển khai.

Cách đọc kết quả trong công cụ

Ưu tiên xem khoảng tin cậy của mức tăng thay vì chỉ p-value. Nếu khoảng tin cậy bắt đầu từ một mức tăng nhỏ hơn chi phí triển khai, kể cả khi có ý nghĩa thống kê, phương án B có thể chưa đáng đổi. Nếu khoảng còn chứa 0, test chưa đủ bằng chứng — thường là do thiếu mẫu hoặc mức tăng thật quá nhỏ.

Muốn tính toán độ nhạy trước khi chạy? Xem thêm công cụ hòa vốn & ROAS để biết mức tăng chuyển đổi cần thiết có đáng tiền quảng cáo hay không.

Câu hỏi thường gặp

Hỏi trước khi tin kết quả

Công cụ dùng công thức cỡ mẫu cho kiểm định hai tỷ lệ, có xét mức ý nghĩa α và power. Với test nhiều phiên bản hơn hai, α được chia theo Bonferroni để giảm nguy cơ dương tính giả do so sánh nhiều lần.

Không. p-value dưới ngưỡng chỉ cho thấy chênh lệch khó xảy ra do ngẫu nhiên nếu hai phương án thực sự giống nhau. Vẫn có khoảng 5% khả năng dương tính giả khi chọn α 5%, và kết quả có thể không đủ lớn để đáng triển khai.

Không nên nếu chưa đủ cỡ mẫu đã định trước. Việc xem kết quả nhiều lần rồi dừng khi có p-value đẹp làm tăng mạnh xác suất kết luận sai. Hãy chốt cỡ mẫu, thời gian chạy và chỉ đọc kết quả khi kết thúc.

Không. Mọi phép tính chạy bằng JavaScript trong trình duyệt của bạn; trang không lưu và không gửi số liệu bạn nhập.

Zalo