分类之后

<mark>AB测试:</mark>

将某个产品/方案/设计的两个不同版本

随机展示给类似的用户群体,以各组之间的效果差异来评估选择更好的那个

<mark>应用场景:</mark>
测试两种促销短信文案对商品销量的影响
测试淘宝,京东以及今日头条等APP,
哪个版本的新闻标题或者广告会更容易被点击

<mark>技术支持:</mark>
系统后台已经有了丰富的历史销售数据
通过大数据获取到用户的人口属性信息(挑选测试客群变得非常容易)
自动化营销系统辅助AB版本的快速配置(对客户的短信或者推送提示只需运营人员简单点击
后台BI滚动收集和总结数据(报告自动发送给业务和分析人员以评估效果)

<mark>案例:</mark>
以某个快消企业提供的优惠券测试效果为例

目的:该公司为了促进微信端优惠券的使用
动作:将60万用户随机分成三组,
统计发放的三个不同的优惠券的使用率,
为以后定期的优惠券发放进行测试

优惠券200-20、100-10、50-5

数据对比:表面上200-20和100-10的优惠券好于50- 5的优惠券(这只是表面啊,要慎重分析)

慎重的分析如果要从前面两个选一个去推广给全体客户,
到底该选哪个版本?

我们有时候还可以拿到更底层的数据,也是一样的去分析

组间差异分析:

  • 使用假设检验, 检验两个数据之间是否有明显的均值差异
  • 计算Z评分, 汇总各个组的均值及历史数据中所推断的各组标准差数据

1.用假设验证的方式
先做个假设: 200-20和100-10的优惠券在用户的接受度上没有差别






分析的目标
可能包括广告,优惠券,微信推送,网页版本等任何可以调整测试的目标



干扰因素很多

本栏目总结:




四个分析方法: