在产品迭代或运营优化策略上,聪明的团队总是会为同一个增长目标提供多个解决方案,如何择其一还能保证最终效果是**的,很多时候,就会用数据来辅助决策。这时候,AB测试就显得必不可少,对于这样的科学实践,方法论显得尤为重要,译文即为原作者总结的A/B测试的10条准则。
以下为译文:
规则一:抛弃固有的认知
很多时候,我们会基于用户的属性信息,特别是年龄,性别,地域或收入来认识他们,尽可能不要酱紫,曾经用户的信息是寻找目标用户的最佳方式(或唯一方式),的确,他现在也依然重要,但在线上市场,我们有了非常多的切入点去一对一去探索用户最真实需求的能力。
规则二:明确当前指标值
转化率优化是你急需着手的目标,但是,在进行高风险的A/B测试之前,需要提前确定一个基准线,如果不知道当前的转化率,又怎么能知道未来的测试是否成功呢?
规则三:别人的经验不一定适用于你
如果某一转化率优化策略适用于所有产品,那还有什么必要测试呢?这样的话,所有人只需要借(chao)鉴(xi)即可。其实,区别还是很大的。
假设A公司是卖鞋的电商平台,B公司是企业级服务的平台,很明显,就算他们有相同的客户,购买决策周期也完全不一样,对A公司而言,把购买按钮从红色换成绿色可能会带来15%的销量增长,But,放到B公司,却不一定有同样的结果。
规则四:尽可能保证变量唯一
当做AB测试时,一次测试只测试一个变量有助于让结果更有说服力。
规则五:在没达到置信水平时不要下结论
在AB测试中,统计置信是指当同一个测试再次被进行时,有同样结果的可能性。换句话说,是看你测试结果的确定性。
举例,假如你在做一项购物车页面的A/B测试,A代表使用单选按钮,B代表使用下拉菜单,假设B带来了75%的转化提升。那么,B方案胜出?
还真不一定,这里还有其他需要考虑的点:
闽ICP备13000641号-4