A/B 实验的基本原理是什么？如何判断实验是否显著？
假设检验分流显著性
考察意图
互联网数据岗高频。考察科学实验思维，而不是只背 p-value。
回答框架
- 原理：随机分流近似「唯一差别是策略」。
- 流程：假设 → 指标 → 样本量 → 分流 → 分析。
- 显著：在约定 α 下拒绝原假设；同时看效应量与业务意义。
- 风险：偷看、多重比较、分流不均、新奇效应。
参考答案（口述版）
原理：把用户随机分到对照/实验组，使两组在期望上协变量平衡，从而把指标差异主要归因于策略差异。
标准流程：
1. 明确假设与核心指标 + 护栏指标
2. 估算样本量（基线、MDE、α、功效）
3. 均匀稳定分流，保证实验单元一致（用户/设备）
4. 到期再看，避免连续偷看导致假阳性膨胀
5. 报告：相对提升、置信区间、p 值、分段一致性
「显著」通常指在预设显著性水平（如 0.05）下，观测差异不太可能只由随机性产生。但业务上还要问：提升幅度是否值得上线成本？护栏是否变差？
加分：提到 CUPED/方差缩减、网络效应（干扰）、SRM（样本比失衡）检查。
关键词
随机分流MDEp-value护栏SRM
面试官可能的追问
追问 1：p 值不显著就能说没效果吗？
不能。可能是样本量不够、方差大、效应本身很小。应报告置信区间：可能是「效果接近 0」或「还不确定」。
追问 2：为什么不能天天看后台、显著了就停？
可选停时点会膨胀第一类错误。应预先注册分析计划，或用序贯检验方法。
常见踩坑
- 未做 SRM 检查就直接下结论
- 同时看几十个指标却不做多重比较控制
- 把统计显著当成业务必上
记忆锚点
随机化制造可比性；显著是统计语言，上线还看效应量与护栏。