A/B 实验样本量怎么估算？
考察意图
从「知道实验要算人数」进到「能讲清公式依赖哪几个量，以及算少了/算多了分别会怎样」。这是实验设计岗和数据科学交叉的高频追问。
回答框架
- 先说目标：在约定 α 和功效下，检出不小于 MDE 的效应。
- 列出四个输入：基线、MDE、α、功效（1-β）；比例指标再加方差形态。
- 给出可用的口述公式或经验法则，并换算成天数。
- 收尾讲现实约束：流量、护栏、方差缩减、不能看到显著就停。
参考答案（口述版）
一句话：样本量不是「觉得够了」，而是：在假阳性率 α、漏检率 β 都受控的前提下，若真实提升至少有 MDE 那么大，实验有很大概率能检出来。
先锁四个数（面试一定要主动问/说）：
1. 基线 p：对照组当前转化率或人均指标均值
2. MDE：你愿意检出的最小相对/绝对提升，由业务成本决定，不是统计软件默认值
3. α：通常双边 0.05
4. 功效 1-β：常用 80% 或 90%
比例指标的常用近似（每组人数）：n ≈ 2 * (z_{α/2} + z_{β})² * p(1-p) / δ²
其中 δ 是绝对差。α=0.05、功效 80% 时，(z_{α/2}+z_β)² ≈ 7.85，口算可记 n ≈ 16σ²/δ²（两组一共大约 32σ²/δ²）。
直觉：
- 基线越靠近 0 或 1，p(1-p) 越小，同样绝对 δ 更好检；但业务常谈相对提升，低基线要同样相对提升，绝对 δ 更小，人反而要更多
- MDE 减半，样本量约变 4 倍
- 功效从 80% 提到 90%，人再多一截
算出每组 n 后，用日均实验流量换天数：天数 = 2n / 日均进入实验的用户数。天数太长就该谈判：放大 MDE、收窄人群、用 CUPED/配对降方差，而不是默默跑半年。
加分：连续型指标用方差 σ² 替换 p(1-p)；要做 SRM 检查；样本量是「到期再看」的承诺，不是「看到 p<0.05 就停」的许可证。
关键词
面试官可能的追问
追问 1：转化率只有 1%，想检出相对 5% 的提升，为什么人特别多？
相对 5% 对应绝对 δ=0.01*0.05=0.0005，δ² 极小。公式分母是 δ²，所以 n 爆炸。这时应重新谈 MDE 是否值得，或先做方差缩减、只在高转化人群实验，而不是硬堆流量。
追问 2：CUPED 或分层能少用多少样本？
方差缩减后，n 近似按 σ² 同比下降。若协变量解释了 30% 方差，样本量大约能少三成。它不改变 MDE 的业务含义，只是让同样的 δ 更好检。不能替代随机分流和预注册。
常见踩坑
- 把相对提升和绝对差混进公式，δ 用错一个数量级
- 不先定 MDE，用「先上线看两天」代替设计
- 算出人数后天天偷看、显著就停，第一类错误膨胀
记忆锚点
先定 MDE 和功效，再倒推人数；MDE 减半，样本大约变四倍。