标签组合测试：筛选最有影响力标签的A/B测试方法

标签组合测试概述

筛选最有影响力标签组合的A/B测试方法主要采用多变量测试（MVT）或因子设计，将标签视为独立变量，创建全组合变体（如2×2或更多），通过随机流量分配和统计检验（如Z检验）比较转化率、点击率等指标，识别最佳组合。

核心步骤

1. 明确目标与指标：定义主要指标（如点击率CTR、转化率），辅助指标（如跳出率、订单价值）。假设新标签组合提升CTR。
2. 创建变体组合：视标签为变量，例如2个标签各2种版本（原版A/新版B），生成4组：标签1A+标签2A、标签1A+标签2B、标签1B+标签2A、标签1B+标签2B。避免仅测试单一变化，确保覆盖交互效应。
3. 确保流量同质性：随机分配流量至各组，使用AA测试验证分组无显著差异（p>0.05）。样本量至少每组100次事件以上，n>30时用Z检验。
4. 运行实验：平均分配流量，工具如Optimizely、VWO或Firebase自动处理。持续至统计显著（如p<0.05）。
5. 统计分析：计算各组指标均值，进行假设检验（H0: 原组合≥新组合；H1: 原组合<新组合）。用Z检验公式评估p值，优先高置信区间组合。
   • 示例代码（Python statsmodels）：

     from statsmodels.stats.proportion import proportions_ztest
     z_score, p_value = proportions_ztest([成功数_原组, 成功数_新组], [样本数_原组, 样本数_新组], alternative='smaller')
     

6. 结果解读：选胜出概率最高组合（如Firebase的“胜过基准概率”）。若交互显著，优先全组合而非单标签。

注意事项

• 独立性：同时测多组需确保事件独立，避免流量重叠。
• 样本计算：预估最小样本，确保功效>80%。
• 实际案例：如eBay标题关键词组合测试，分版本比较效果。
• 工具推荐：Ptengine、Firebase支持MVT与贝叶斯实时优化。

此方法适用于电商/推荐场景，需控制外部变量如时间/来源一致性。