简介

A/B 测试是一种产品优化的方法，为同一个优化目标制定两个方案（比如两个版本的 UI），让一部分用户使用 A 方案，同时另一部分用户使用 B 方案，统计并对比不同方案的转化率、点击量、留存率等指标，以判断不同方案的优劣并进行决策，相当类似于初中科学课中的“对照实验”。

A/B 测试广泛应用于产品各个阶段、各个方面的迭代流程中，既可以是视觉、交互，也可以是产品功能，甚至运营活动。

详情

A/B 测试的流程

一个完整的A/B test主要包括如下几个流程：

• 确定目标：首先，明确你想要优化或改进的目标。这可能是提高转化率、增加用户参与度、改进页面加载时间等。
• 选择变量：选择你想要测试的变量，这可以是网页布局、按钮颜色、广告文案等。这些变量被称为 “变体”，每个变体都是实验的一个版本。
• 随机分组：将你的用户或观众随机分成不同的组，每个组看到不同版本的变体。确保分组是随机的，以减少潜在的偏差。
• 制定假设：在进行实验之前，制定你的假设。例如，如果你认为改变按钮颜色会增加点击率，你的假设可能是：”更改按钮颜色将显著提高点击率”。
• 实施实验：将不同的变体应用于各组并监测结果。确保实验条件尽可能一致，以便能够准确比较不同变体的效果。
• 收集数据：收集关于每个变体的数据，包括用户行为、转化率、点击率等。使用统计学方法确保你的样本量足够大，可以得出可靠的结论。
• 分析结果：分析收集到的数据，比较不同变体之间的表现。使用统计学方法判断是否存在显著差异，并验证你的假设。
• 做出决策：基于分析的结果，决定是否采用新的变体。如果有显著改进，可以考虑在产品或服务中实施变体。
• 总结和反思：对实验进行总结，记录成功和失败的因素，以便将这些经验应用到未来的 A/B 测试中。
• 实施改变：如果新的变体被采用，实施相应的改变，并持续监测效果，确保改变的长期效果符合预期。

流量分配

进行 A/B 测试的第一个问题就是如何划分用户，如果采用简单五五分的方式我们一次只能做一个实验，当我们需要同时做多个实验时就无法满足了。于是在用户的流量分配上，衍生出了两个不同的思路：

• 互斥分配：一实验中的对照组和实验组本身是互斥的并不难理解，推及到两个实验组中，如果同时进行了两组实验，实验A和实验B，定义进行了实验A的人为集合A，实验B的人群为集合B，那么集合A和集合B的交集为空则集合A和集合B互斥。
• 正交分配：在分层的实验中，每一层的实验结束之后流量将会被均匀打散并平均分配到下一层实验中。

评价指标选择

在设计实验之前我们需要明确实验的目标，根据目标才能确定合理的评价指标。更多情况下我们应该从业务的视角出发选择合适的评价指标，我们以风险策略模型实验为例，我们可以从技术和业务角度选择不同的评价指标：

• 技术角度：准确率和召回率
• 业务角度：客诉率和追损金额

单纯从技术角度出发我们会忽视很多现实问题，例如两个策略的准确率和召回率差不多，但识别的结果人群不一样，这些人造成的损失也可能不一样。因此能够帮助我们追回更多损失同时有更小的客诉率才是更优的策略。

在进行实验时结果指标至关重要，但有时我们也应该关注一些过程指标。以页面优化实验为例，可能的过程指标和结果指标有：

• 过程指标：页面平均停留时间，页面跳出率等
• 结果指标：商品加购率，商品转化率等