AB-Test 实验-数分面试常用问题

1. AB-Test基本流程：

• 确定核心指标-原假设和备择假设-样本量样本周期-流量分割-测试-效果分析（假设检验）

2. AB-Test 原理：假设检验，对其中一个样本做出改动，观察所做改动对核心指标是否有影响，原假设是不会有显著影响，如果p值足够小则可以推翻原假设，选择备择假设，证明这个改动会对关注的核心指标有影响，AB-Test本质是对照试验。
3. 第一类错误和第二类错误

• 第一类错误：原假设本身是对的，但是实验显示原假设是错的，拒绝原假设。‘弃真’。
• 第二类错误：第二类错误是指原假设本身是错的，但是实验结果显示是对的。‘取伪’。

4. P值：显著性水平，原假设是正确的却仍被拒绝的概率。P值越小，表示结果越显著。
5. 什么场景应用AB-Test？

• 产品迭代和策略优化。
• 产品迭代：界面优化、功能增加、流程增加
• 策略优化：无论是运营策略还是算法策略，都可以用AB-Test验证策略是否达到预期目标。

6. AB-Test样本量选择

• 大数定律：实验条件不变，随机实验多次之后，随机事件发生频率约等于概率。
• 中心极限定理：N个独立同分布随机变量，样本量很大时，样本均值近似服从标准正态分布
• 其他有具体公式：分为比率类指标和绝对值类指标。标准差越大，组间差异越小，所需要的样本量越大。

7. 流量分割

• 辛普森悖论：在某个条件下的两组数据，分组研究时都会满足某种性质，可是一旦合并考虑，却可能导致相反的结果。
• 原因：分组后其中主要群组的影响权重更大，样本相对较小的群组单个看，虽然可能在数据指标上表现更高，但总体影响较小，话语权更小。

两种分割方式-分流与分层

• 分流是指我们直接将整体用户切割为几块，用户只能在一个实验中。但是这种情况很不现实，因为如果我要同时上线多个实验，流量不够切怎么办？那为了达到最小样本量，我们就得延长实验周期。
• 另一种方式，分层。就是将同一批用户，不停的随机后，处于不同的桶。也就是说，一个用户会处于多个实验中，只要实验之间不相互影响，我们就能够无限次的切割用户。这样在保证了每个实验都能用全流量切割的同时，也保证了实验数据是置信的。

8. 置信区间和置信水平