15 假设检验

两组总体成功率相同，并不意味着抽得的样本比例相同。有限样本中的随机差异有时很小，有时较大。要判断一次观测是否超出了通常的抽样波动，就需要一个参照：在两组率相同的模型下，哪些差异常见，哪些差异罕见？假设检验将观测结果放入这一参照分布中解释。

观测的极端程度由 $p$ 值表达，显著性水平与功效则描述检验在不同真实参数下的长期表现。一个研究还可能关注差异大小、两方案是否足够接近，或差异是否由干预造成。这些问题具有不同的假设结构，不能由一个显著性判断同时回答。

检验使用的概率依据是抽样分布，它与置信区间通过检验反演相联系。下面的两组比例比较可以采用正态近似，也可以写成卡方检验或精确检验；差别在于各方法的参照分布与尾部定义。

零假设与备择假设

设干预组、对照组的总体成功率为 $p_1,p_0$。若科学问题是两组率是否不同，相应的假设为

$$H_0:p_1=p_0,H_1:p_1\ne p_0.$$

$H_0$ 是零假设，规定了用来比较观测的参照模型；$H_1$ 是备择假设，规定关注的偏离方向。按 $H_0$ 推导数据分布，是暂时在这一模型中计算，并不表示 $H_0$ 已得到证明。“没有差异”只是常见零假设之一，具体形式取决于研究问题。

如果研究只关心是否提高，且在观察数据前已确定方向，备择可以写为 $H_1:p_1>p_0$，单侧零假设则为 $p_1\le p_0$。这一检验常在边界 $p_1=p_0$ 校准。若依据观测结果选择上升或下降方向，实际程序便同时利用了两个方向的极端结果，原来为固定单侧方向推导的错误率不再适用。

成功定义、观测窗口和纳入人群同样参与规定参照分布。看完结果后反复改动这些定义，相当于在多个可能分析中选择结果最极端的一个；选择机会已经增加，最终结果不再对应原先那个固定的检验程序。

p 值及其参照分布

检验统计量 $T$ 把观测与 $H_0$ 的偏离归结为一个数值。对于关注两个方向的双侧问题，常以绝对偏离衡量极端程度。其尾部概率定义为

$$p\text{ 值}=P_{H_0}\{\text{检验统计量至少与观测值同样极端}\}.$$

这里的“至少同样极端”由备择方向和检验方法共同确定。连续分布中，恰好出现某个精确数值的概率通常为零，所以参照对象是一片尾部区域。若零假设还包含未知参数，参照分布便可能随它们改变；估计、条件化或对整个零假设范围控制错误率，分别是处理这些干扰参数的办法。

例如一枚硬币抛 $10$ 次，出现 $8$ 次正面。检验 $H_0:p=0.5$，并以正面次数偏离 $5$ 的程度衡量双侧极端性。观测已向一个方向偏离，同样程度的反向偏离也属于尾部，因而求和范围为 $X\ge 8$ 或 $X\le 2$：

$$p=2\frac{\left(\genfrac{}{}{0ex}{}{10}{8}\right)+\left(\genfrac{}{}{0ex}{}{10}{9}\right)+\left(\genfrac{}{}{0ex}{}{10}{10}\right)}{2^{10}}=\frac{112}{1024}=\mathrm{0.109375.}$$

公平硬币的零分布与上述尾部都对称，因此这里能够把单侧概率乘以两倍。其他离散检验的双侧定义未必具有这一对称关系。所得 $0.109375$ 始终以公平硬币模型为条件，表达的是极端数据的概率，不能转成“硬币公平的概率为 $10.9\%$”。

$p$ 值以 $H_0$ 规定的分布为参照，并未为假设自身建立概率分布。因此，它不是零假设为真的概率，也不是“结果由偶然造成”的概率或另一次研究复制成功的概率；它的含义始终附属于具体模型、抽样设计和统计量。

两独立样本比例检验

在虚构随机实验中，对照组 $40/200$ 成功，干预组 $70/200$ 成功，两组率的观测差异为

$${\hat{p}}_1-{\hat{p}}_0=0.35-0.20=\mathrm{0.15.}$$

在 $H_0$ 中，两组共享同一未知成功率。既然模型规定它们来自同一成功机制，两组成功数便可合并来估计共同率：

$${\hat{p}}_{\mathrm{pool}}=\frac{70+40}{200+200}=\mathrm{0.275.}$$

两组独立，使比例差的方差等于两组比例方差之和。代入零假设规定的共同率估计，得到

$$S{E}_0=\sqrt{{\hat{p}}_{\mathrm{pool}}(1-{\hat{p}}_{\mathrm{pool}})\left(\frac{1}{200}+\frac{1}{200}\right)}\approx \mathrm{0.0446514.}$$

将观测差异除以这个零假设标准误，便得到标准化偏离及其双侧正态尾概率：

$$z=\frac{0.15}{0.0446514}\approx 3.3594,p=2P(Z\ge 3.3594)\approx \mathrm{0.000781.}$$

在组间独立且正态近似适当的前提下，率相同的模型很少产生至少这样极端的差异。把同一数据写成二乘二表，未作连续性校正的 Pearson 卡方统计量等于 $z^2\approx 11.2853$。精确方法则保留离散分布的尾部，所得 $p$ 值可以与正态近似不同。

这里的 $S{E}_0$ 服务于 $H_0$ 下的比较，所以使用合并比例。风险差估计没有强制两组率相同，区间标准误通常按各组率分别计算。检验与区间只有在使用同一反演关系时才严格对应；采用不同近似方法，边界未必完全一致。

显著性水平与检验功效

显著性水平 $\alpha$ 规定零假设为真时容许的错误拒绝概率。例如预先采用 $0.05$，并在 $p\le \alpha$ 时拒绝 $H_0$，校准合适的检验就将这种第一类错误控制在 $\alpha$ 以内。它描述的是重复抽样中程序的表现，不能把已经拒绝的某次结论解释为具有 $5\%$ 的错误概率。

在某个具体备择为真时仍未拒绝 $H_0$，称为第二类错误，概率记为 $\beta$；拒绝概率即功效 $1-\beta$。不同效应产生不同的统计量分布，因此功效也随真实效应改变。“成功率从 $20\%$ 上升到 $35\%$ 时的检测能力”有明确对象，而未指定效应大小就不存在唯一的功效数值。

独立样本增加或测量噪声减小，通常使备择下的偏离更容易与零分布区分，从而提高功效。提高 $\alpha$ 也扩大拒绝范围，但代价是容许更多第一类错误；观测后把阈值从 $0.05$ 改成 $0.10$，便不再遵循原先的控制水平。样本量规划因而与值得发现的最小效应、所需功效、设计结构和失访情况共同相关。

“事后功效”若直接把观测效应当真实效应，通常与 $p$ 值的信息重复。效应区间则直接显示样本还容许多大的获益与损害；区间是否排除了值得关注的差异，反映了研究对实际问题的精度。

统计显著性与效应量

上述风险差为 $0.15$，对应成功率增加 15 个百分点，而非相对增加 $15\%$。其简单大样本 $95\%$ 区间约为 $[0.0637,0.2363]$，推导见效应量区间的手算。在相同目标人群和条件下，这个量纲相当于每 $1000$ 人平均增加约 $150$ 次成功，区间约为 $64$ 至 $236$ 次。这里使用模拟教学数据，人数换算只用于解释绝对差异的大小。

$p$ 值、风险差和风险差区间分别描述与零差异的相容性、效应量级和估计精度。成本、潜在不利后果及研究目的决定这种差异是否具有实际意义。由于标准误随样本量变化，微小差异在大样本中也可能显著；稀有但重要的效应在小样本中则可能仍缺少显著证据。

随机分配为干预效应解释提供设计依据，但依从性、失访及所定义的分析目标仍会影响这种解释。观察性研究中的显著关联也可能包含混杂作用，显著性本身没有消除混杂的机制；这一范围见因果识别。

等效性与非劣效性

$p>0.05$ 表示本次数据未达到拒绝 $H_0$ 的标准。它可能来自很小的差异，也可能来自样本不足或较大噪声。例如差异区间为 $[-0.15,0.20]$，不仅包含零，还包含较大的负效应和正效应；这样的不确定性无法支持“两方案相同”。

等效性把“差不多”定义为一个具有实质依据、在观测前确定的范围。设等效界值为 $\delta$，例如绝对差异不超过 $2$ 个百分点，目标便是证明差异落在 $(-\delta ,\delta )$ 内；其零假设反而是差异位于这一范围之外。两单侧检验 TOST 在各侧 $\alpha =0.05$ 时，与对应的双侧 $90\%$ 区间完全位于等效范围内具有相同判断，条件是检验与区间方法匹配。

例如差异区间为 $[-0.01,0.01]$，完整落在预定范围 $[-0.02,0.02]$ 内，便有适当的等效证据。若范围是观测后才扩大到刚好容纳区间，原来的错误率解释就不成立。非劣效性只约束一个预先规定的较差方向，其零假设与普通差异检验也不同。

分析选择与错误率控制

固定分析时间点、主要终点、方向和方法，才规定了前面计算错误率所依据的抽样程序。每天查看并在显著时停止，或从许多分组中选择显著的一组，都把拒绝事件扩展为多次机会中至少成功一次；依据结果反复删除观测也改变了统计量的分布。连续监测的序贯设计和同时检验指标的多重比较，分别针对这些变化建立错误控制。

估计值、区间、检验方法和 $p$ 值共同表达一次研究的结果，而原始结果与分析选择说明这一结果怎样产生。显著性标记只表示是否越过阈值，并未表达证据变化的全部程度；例如 $0.049$ 与 $0.051$ 分处阈值两侧，证据程度仍很接近。

检验结果的推断范围

假设检验的对象有两个层次：$p$ 值描述本次数据在参照分布中的位置，显著性水平与功效描述同一程序反复使用时的表现。它们都依赖统计量、设计和具体假设，不能脱离这些条件赋予统一含义。

差异、等效性和因果关系是不同命题；效应估计与区间说明大小和精度，也具有不同于显著性判断的作用。当参照分布难以解析求得时，可以利用重抽样近似；同时作出多项判断时，则需重新定义成组错误。相关理论见 参考教材与开放课程。

习题

1. 公平硬币检验得到 $p=0.109375$，$\alpha =0.05$。能否说“公平的概率为 $89.1\%$”？应该怎样陈述？
2. 一项研究 $p=0.30$，风险差区间为 $[-0.12,0.18]$。能否认定两方案等效？如果预定等效界值为 $\pm 0.02$ 呢？
3. 为什么两组比例的零差异检验使用合并比例，而差异估计区间一般使用两个比例各自的方差？
4. 对一个真实很小的差异增加样本量，使 $p$ 值变小。这是否必然使方案更有实际价值？

参考解答与推理

1. 不能；$1-p$ 也不是零假设为真的概率。应说在公平硬币模型下，同样或更极端的结果概率为约 $10.9\%$，本次在 $5\%$ 显著性水平下不拒绝公平假设；这不构成公平性的证明。
2. 不能。该区间仍容许较大正负效应，也没有完全位于 $[-0.02,0.02]$ 内。普通差异检验没有拒绝零差异，不等于通过预先设定的等效检验。
3. 零假设规定两组共有同一成功率，合并数据估计该共同率有模型依据；效应估计不强制率相同，所以按各组率估计各自波动。两种标准误服务于不同目的。
4. 不必然。样本量使估计更精确，但没有改变效应的量级、成本或潜在伤害。应拿效应及其区间与实际决策阈值比较。

上一篇：14 置信区间 · 下一篇：16 重抽样与多重比较 · 课程总览

相关概念：p值与错误率 · 置信区间与覆盖率。