需要多少人？
输入基线与希望识别的提升，查看每组人数和观察时间。
开始规划 →先看结果，再查依据
一场实验，
从样本规划到结果判断。
面向两组独立用户、一个转化指标。先确定实验计划，再检查结果是否足以支持决策。
转化指标：每个用户只记“发生过”或“没发生”，例如是否购买。
差异可信吗？
先核对分组人数与完成条件，再看提升、区间和检验结果。
开始分析 →过程如何复盘？
查看 Hillstrom 邮件实验的汇总数据与固定比较方案。
查看历史案例 →这个版本的边界
- 纯前端工具，所有计算在当前浏览器完成。
- 只接收汇总人数；不登录、不上传、不保存。
- 支持独立用户、两组与一个二元转化指标。
结果不替你做决定
条件未确认时，只显示“参考计算”。显著正向也只进入上线评审，仍需看收益、成本和其他业务指标。
查看方法与限制 →PLAN / 实验前
规划实验样本
确定想识别的变化，以及完整观察需要多久。
示例只填入参数；结果由浏览器重新计算
计划参数
示例数据REVIEW / 实验后
查看实验结果
按 B−A 比较转化率；先确认数据与实验完成条件。
切换后需重新确认实验状态
勾选是条件声明，工具无法仅凭汇总人数验证。
实验汇总输入
示例数据CASE / 公开案例
一封邮件，是否带来更多购买？
Hillstrom 邮件实验 · 两周购买转化 · 历史复盘
数据来自原作者公开发布，未见明确许可，仅作学习演示。
网页计算与离线参考对照
左列由本页每次运行统计函数计算；右列为 PRD 公开案例的 Python 参考值。
计算明细与 Python 参考对照
复盘口径
- 研究问题：发送 Mens E-Mail 是否改变两周购买转化。
- 比较方案：A 为 No E-Mail，B 为 Mens E-Mail，固定 B−A。
- 只用
conversion这一二元购买指标。 - 原实验的完整目标与停止计划未核实，不生成上线建议。
汇总输入
| 比较组 | 人数 | 购买人数 |
|---|---|---|
| A · No E-Mail | 21,306 | 122 |
| B · Mens E-Mail | 21,307 | 267 |
两组共 42,613 人。仅发布汇总与结果，不内置、不分发原始 CSV。
来源与发布边界
α=0.05 为本次回顾分析设置，原作者事前 α 未核实。
SRM 采用所选两组内 50:50 参考比例，阈值为本工具约定的 0.001。
查看统计方法与限制 →METHOD / 计算方法
让每个结果都有依据
方法 v1 · PRD v3 · 浏览器双精度计算
适用范围与术语
独立、去重的用户，双组，一个二元指标，固定样本、双侧检验。双侧表示同时检查 B 更好或更差。
- p 值：假设没有真实差异，出现当前或更极端结果的概率；不是“B 无效的概率”。
- 置信区间：反复用同一方法生成区间时，按标称比例覆盖真实差异；不是为这一次真实差异分配概率。
- 统计功效：真实变化等于设定提升时，实验检出差异的概率。
- SRM：样本比例失配，即实际分组人数是否偏离事前约定比例。
本版本仅给绝对差区间。相对提升只有点估计。近似方法的实际错误率和覆盖率可能偏离标称值。
提升、检验与区间
p̂A = xA / nA；p̂B = xB / nB
Δ = p̂B − p̂A
绝对提升 = 100 × Δ 个百分点
相对提升 = (p̂B / p̂A − 1) × 100%
SE = √[p̂B(1−p̂B)/nB + p̂A(1−p̂A)/nA]
Z = Δ / SE；p = 2 × SF正态(|Z|)
CI = [Δ − z(1−α/2) × SE, Δ + z(1−α/2) × SE]
Δ = p̂B − p̂A
绝对提升 = 100 × Δ 个百分点
相对提升 = (p̂B / p̂A − 1) × 100%
SE = √[p̂B(1−p̂B)/nB + p̂A(1−p̂A)/nA]
Z = Δ / SE；p = 2 × SF正态(|Z|)
CI = [Δ − z(1−α/2) × SE, Δ + z(1−α/2) × SE]
Wald 方法用估计差值除以其波动大小，再作正态近似。本版本检验和区间使用同一个非合并标准误，区间按 B−A 的百分点显示。
两组成功与失败人数都至少 10，且 SE > 0，才输出推断。否则仅显示描述值；不自动换方法、不补假计数。A 为 0 时相对提升不可计算。
按未舍入的 p < α 且区间不含 0 判断显著。p = α 或区间端点为 0 不判显著；二者不一致时标为待复核。区间越界不截断，转为方法条件不足。
依据：statsmodels 两独立比例的 method='wald', compare='diff' 官方文档及源码；NIST 的 Wald 区间限制。见 S1—S4、S7。
样本规划与时间
相对 MDE 为 r：p1 = p0(1+r)
绝对 MDE 为 a 个百分点：p1 = p0 + a/100
V = p0(1−p0) + p1(1−p1)
λ(n) = (p1−p0)√n / √V
功效 π(n) = Φ(λ(n)−z(1−α/2)) + Φ(−λ(n)−z(1−α/2))
n_power = 达到目标功效的最小正整数
n_count = ceil(max(10/p0, 10/(1−p0), 10/p1, 10/(1−p1)))
n* = max(n_power, n_count)
绝对 MDE 为 a 个百分点：p1 = p0 + a/100
V = p0(1−p0) + p1(1−p1)
λ(n) = (p1−p0)√n / √V
功效 π(n) = Φ(λ(n)−z(1−α/2)) + Φ(−λ(n)−z(1−α/2))
n_power = 达到目标功效的最小正整数
n_count = ceil(max(10/p0, 10/(1−p0), 10/p1, 10/(1−p1)))
n* = max(n_power, n_count)
前测固定 1:1。公式来自 statsmodels NormalIndPower(ddof=0) 的正态功效方法，并用规划方差作代数转换。计数保护门槛是本项目规则，不是精确功效保证。
预计达到样本量天数 = ceil(2n* / 每日合计新增合格用户)
计划招募时长 = max(达到样本量天数, 最低运行周期)
最早完整观察时间 = 计划招募时长 + 转化观察窗
计划招募时长 = max(达到样本量天数, 最低运行周期)
最早完整观察时间 = 计划招募时长 + 转化观察窗
最后一批用户也必须观察满窗。预计天数假设流量稳定、用户不重复；真正停止纳入仍须核对两组目标与最低周期。达到人数不保证显著。流量缺失不估天数，观察窗缺失不报完整时间。
示例：10%→12%，α=0.05，功效0.80，每组3,839；流量1,000/天、最低周期7天、观察窗7天时，对应8天、8天、15天。依据：S5—S6 与 PRD 参考基准。
分流比例是否异常
N = nA + nB；EA = N(1−q)；EB = Nq
X² = (nA−EA)²/EA + (nB−EB)²/EB
p_SRM = SF卡方(df=1)(X²)
X² = (nA−EA)²/EA + (nB−EB)²/EB
p_SRM = SF卡方(df=1)(X²)
q 为实验前约定的 B 组比例，不从观察人数反推。主检查用纳入分析的用户数；原始分配人数如提供，再作辅助检查。任一异常均须排查，不相互抵消。
任一观察人数或期望人数 < 5，不做卡方近似检查。比例未知或中途改变时，SRM 标为未完成。
SRM 阈值固定0.001：p_SRM < 0.001 判异常，等于阈值不判异常。该阈值是产品约定，不是普适标准。未检出异常不等于随机化已被证明正确。依据：S8—S10。
先检查条件，再给结论
- 输入错误或修改后：清除旧结果，禁用复制。
- SRM 异常：优先提示排查，暂不据此决定上线。
- 低计数：只展示转化率与提升，不显示效果 p 值、Z 或差值区间。
- 任一状态未确认、目标缺失或未达到：标“参考计算”，不给上线建议。
- 全部条件满足：不显著、显著负向、显著正向分别使用固定文案。
- 不显著不代表两个版本效果相同，统计显著也不代表值得上线。
- 显著正向仅表示可进入上线评审；收益、成本、其他业务指标仍需另评。
护栏指标是主指标改善时仍需保护的业务指标，例如投诉或退款。本版本不计算护栏指标，不给“自动上线”或“有95%概率更好”等结论。
普通固定样本 p 值不适用于“反复看结果，显著就停”。工具不能验证真实实验流程；勾选仅是使用者对实验条件的声明。依据：S11 与 PRD 产品规则。
公开案例的解释边界
原作者介绍 64,000 名客户随机分为三组，并观察邮件发送后两周的行为。本次仅回顾 No E-Mail 与 Mens E-Mail，且选择时已经看过公开组计数；不声称这是原实验预注册的主比较。
原实验事前基线、MDE、α、功效、目标样本量及停止规则未核实。案例六项确认保持未确认，因此即使参考 p 很小也不给上线建议。本工具未参与原实验，不声称产生商业收益。
本次仅发布汇总人数与分析结果，并附原作者页面和 CSV 原始链接，不随站点提供原始数据。数据来自原作者公开发布，未见明确许可，仅作学习演示。
来源核查记录：2026-10-18。visit 与 spend 不替代两周购买 conversion 指标；SRM 未检出异常不能证明随机化无误。原作者页面与 CSV 链接见公开案例页。
双精度数值算法
所有数值使用 JavaScript Number，即 IEEE 754 双精度。标准正态分布反函数采用 Wichura AS241，移植自 CPython 3.12.14 的 statistics.py；输入概率先检查范围。
标准正态累积分布函数（CDF）和尾部概率（SF）采用 Cephes 的 erf / erfc 分段有理逼近，依据 SciPy 1.15.3 的 ndtr.h。正尾概率直接计算 erfc(z/√2)/2，不用 1−CDF。
极小概率使用 log-SF：把 erfc 的指数因子保留在对数域。双侧效果 log-p = ln(2) + log-SF(|Z|)；自由度为 1 的 SRM 卡方 log-p = ln(2) + log-SF(√X²)。完整明细保留 log-p；普通 p 下溢时显示“数值下溢”，不会写 p=0。
功效函数单调求根并核对相邻整数。页面显示舍入不参与显著性、SRM 或样本量判定。
- Wichura：Algorithm AS 241 原论文 ↗
- CPython 3.12.14：statistics.py 算法实现 ↗
- SciPy 1.15.3：Cephes ndtr.h 算法实现 ↗
- 随站点提供的许可：CPython 许可；SciPy / Cephes 许可。
源码移植版本与 Python 对照环境版本分别记录；对照值来自 PRD 规定的 SciPy 1.17.0 和 statsmodels 0.14.6。此处不把源码版本混作验收基准。
可核实来源
来源核查日期：2026-10-18。链接仅在你点击时打开；网页计算不访问外部服务。
- S1 · statsmodels：两独立比例检验
- S2 · statsmodels：两独立比例置信区间
- S3 · statsmodels：比例方法源码
- S4 · SciPy：正态分布 norm
- S5 · statsmodels：NormalIndPower.power
- S6 · statsmodels：功效方法源码
- S7 · NIST：比例差区间与 Wald 限制
- S8 · SciPy：chisquare
- S9 · SciPy：chi2
- S10 · Microsoft Research：诊断样本比例失配
- S11 · Johari 等：持续监控 A/B 实验的推断问题
统计函数按 PRD v3 的容差逐项对照 Python 的 statsmodels 与 SciPy。浏览器执行本地统计代码，不调用 Python 或远程服务。