增长黑客成长之路上,想比大家对A/B测试已经很熟悉了,但听过、实践过A/A测试的同学举个手我看看,喏,还没多少人。这篇文章我们就来讲讲A/A测试。
什么是A/A测试?
A/A测试可以理解成对两个相同版本进行的A/B测试。通常,这样做的目的是为了验证正在使用的工具运行试验在统计上是公平的。在A/A测试中,如果测试正确进行,控制组和实验组应该没有任何区别。
在没做A/A测试之前,你可能什么都不知道,这里的逻辑是这样的:如果样本的A/A测试结果达到统计显著,那么A/B测试工具或测试方案就是不可信的。
如果说A/B测试用来测试比较几个方案的优劣,那么A/A测试就是验证A/B测试及工具置信度的有效方式。
为什么进行A/A测试?
既然A/A测试的两个版本变量没有任何变化,为什么还要花时间精力来做?
商业活动中,通常我们使用一切数据工具的目的,无外乎:用测量推动决策优化,同时用正确的决策获取比竞争对手更大的市场。可能通过数据能获取的决策信息点有很多,那么通过A/A测试来确保你得到的数据能用来自信地作出决定,减小决策失误。
通常情况下我们做A/A测试的目的有下面几个:
- 保证精确的流量分配,换句话说,验证随机性实际上是通过确保每次试验产生的计数与统计范围相似
- 识别假阳性结果的频率(假阳性结果也可以理解为测试结果中的虚假繁荣,有相当的误导性)
- 确定方差“泡沫”帮我们更好的理解其他测试结果
闽ICP备13000641号-4