19 卡方检验

列联表把个体结果汇成各类别的人数。即使总体比例符合某个模型，样本中各格的人数也会因抽样而变化。问题在于：观察到的偏离是否仍处于这个模型通常产生的波动范围内？Pearson 卡方统计量把各格偏离按期望频数加权，再合成为一个总体的差异尺度。

对一个分类变量，原假设可以给出各类别的概率，得到拟合优度检验；对两个分类变量，独立假设规定联合概率等于边缘概率的乘积，得到独立性检验。二者使用同一种平方偏差结构，自由度则随概率约束与参数估计而改变。

这里沿用假设检验的原假设与参照分布思想，以分类数据与列联表中的频数结构为对象；差异大小的解释则承接风险差、风险比与优势比。

Pearson 卡方统计量

设第 $j$ 格实际观察到的人数为 $O_j$，原假设预测的平均人数为 $E_j$。Pearson 统计量定义为

$$X^2=\sum _j\frac{(O_j-E_j{)}^2}{E_j}.$$

每格的偏差先平方，正负偏离便都增加统计量；再除以 $E_j$，使不同规模的格子具有可比较的贡献。同样多出 10 人，在期望 20 人的格子里通常比在期望 2,000 人的格子里更异常，因为较大计数本来就有较大的随机波动。式中的期望频数 $E_j$ 以人数计量，由类别概率乘样本量得到。

卡方参照分布来自频数的联合渐近分布。独立抽样、原假设正确、类别数固定且有关期望频数足够大时，频数的标准化波动可用正态结构近似；总数和拟合参数带来的约束决定其剩余维度，平方后汇总便得到 $X^2$ 的卡方近似。卡方分布是一族右偏的非负分布，形状随自由度变化。偏离越大，统计量越大，因此 $p$ 值取右尾，$X^2$ 的大小反映整体偏离程度。

分类分布的拟合优度检验

以一个虚构的骰子实验为例：投掷 120 次，六面的次数为 $18,14,22,16,20,30$。均匀模型指定每面概率为 $1/6$，于是每面的期望频数都是 $120/6=20$。代入得到

$$X^2=\frac{(-2{)}^2+(-6{)}^2+2^2+(-4{)}^2+0^2+10^2}{20}=8.$$

六个类别的计数总和固定为 120。一面的次数增加，其他面的总次数就相应减少，前五个计数已经决定第六个。因此独立变化的维度为 $6-1=5$，统计量的右尾概率约为 $0.1562$。在预先设定的 $0.05$ 水平下，这个结果不拒绝均匀模型：样本偏离仍与该模型的随机波动相容，同时也不足以证明骰子绝对公平。

一般而言，$r$ 个互斥且完备的类别受到总概率约束。类别概率完全事先给定时，自由度为 $r-1$；若利用同一批分类数据估计 $q$ 个可辨识参数，且估计和模型满足常规渐近条件，自由度通常进一步减少为

$$\mathrm{df}=r-1-q.$$

参数拟合会沿模型允许的方向解释一部分频数偏离。例如，整体成功次数偏多，可能使估计的成功概率提高，而不再完全计入拟合后的偏差。检验衡量的是拟合以后仍剩余的偏离，因而每个常规可辨识参数相应占去一个变异维度。

设独立重复 100 轮试验，每轮包含两次相互独立、成功概率同为 $\theta$ 的 Bernoulli 试验，记录每轮成功次数 $0,1,2$。若相应频数为 $30,50,20$，成功概率的估计为

$$\hat{\theta }=\frac{50+2\times 20}{2\times 100}=\mathrm{0.45.}$$

二项模型给出的类别概率为 $(1-\hat{\theta }{)}^2,2\hat{\theta }(1-\hat{\theta }),{\hat{\theta }}^2$，对应期望频数 $30.25,49.50,20.25$。这里的原假设是一族由成功概率决定的二项分布，$\theta =0.5$ 并未事先固定。估计一个参数后，自由度为 $3-1-1=1$。若原假设事先限定 $\theta =0.5$，三个概率就完全指定，自由度为 2。这两种检验回答的是不同问题：是否符合某个二项模型，以及是否符合一个指定的二项模型。

上述自由度公式以正则的局部近似为基础。参数在边界上时，其变化方向可能受到单侧约束；参数不可辨识时，不同参数值可能描述相同分布。这些情形，以及不符合相应理论的估计方式、反复依数据选择类别的做法，都可能改变普通卡方极限。结构性零格也会改变可行频数的维度，此时参照分布由具体模型的推导或适当模拟确定。

列联表的独立性检验

在贯穿教程的虚构独立个体随机分配实验中，对照组 200 人有 40 人成功，干预组 200 人有 70 人成功：

组别	成功	未成功	合计
对照	40	160	200
干预	70	130	200
合计	110	290	400

原假设为组别与成功状态独立，等价于两组总体成功率相同。独立性使“对照且成功”的联合概率等于“对照”与“成功”两个边缘概率的乘积。用样本边际比例估计边缘概率，再乘总人数，便得到各格的期望频数：

$$E_{ij}=\frac{\text{第 }i\text{ 行合计}\times \text{第 }j\text{ 列合计}}{n}.$$

两组人数相同，在共同成功率下都预测 $200\times 110/400=55$ 人成功、145 人未成功。实际频数相对于这套期望结构的偏离为

$$X^2=\frac{15^2}{55}+\frac{15^2}{145}+\frac{15^2}{55}+\frac{15^2}{145}\approx \mathrm{11.2853.}$$

在一般 $R\times C$ 表中，固定行列边际以后，只需给定左上角 $(R-1)(C-1)$ 个自由格子，或等价地给出 $(R-1)\times (C-1)$ 子表，其余计数便由边际确定。这里自由度为 1，未作连续性校正时 $p\approx 0.000781$。原假设对两种方向的成功率差异都不作区分；偏差平方将方向消去，故右尾卡方概率对应的是两侧“成功率不同”的检验。

样本成功率为 $20\%$ 与 $35\%$，风险差为 15 个百分点，风险比为 1.75，优势比约为 2.154。小 $p$ 值描述无差异模型下产生这种标准化偏离的稀有程度；这些效应量描述样本差异的大小，区间则表达估计的不确定性。两种信息作用不同，效应区间的计算见上一章。

对于 $2\times 2$ 表，只有一个独立的组间差异。未校正 Pearson 统计量等于使用合并成功率的两比例 $z$ 检验之 $z^2$。本例合并成功率为 $110/400=0.275$；在两组概率相同的原假设下，比例差的标准误为

$$\sqrt{0.275(1-0.275)(1/200+1/200)}\approx 0.04465,$$

因而 $z=0.15/0.04465\approx 3.359$，平方为 $z^2\approx 11.285$。自由度 1 的卡方分布正对应这一标准化差异的平方。

卡方近似的适用条件

独立性进入参照分布的方式是决定计数的方差及协方差。同一个人的前后结果、同一家人的结果或医院内相关的患者结果，可能共同变化；普通独立个体公式没有包含这些额外协方差。扩大人数不会使原有依赖消失，因此这类资料的参照分布须体现联合结构，配对情形见配对与分层。

期望频数过小时，整数计数的分布仍明显离散，正态结构以及随之得到的卡方近似可能较差。所有格子 $E\ge 5$ 是常见且偏保守的经验规则；较大列联表还常用“无 $E<1$，且不超过约 $20\%$ 的格子 $E<5$”衡量稀疏程度。近似质量也与维数、边际不平衡和检验目标有关。精确或适当的蒙特卡洛检验保留相应概率结构，适合处理很稀疏的表；类别合并则改变了研究问题，只有类别含义允许时才具有合理解释。

期望频数是重复抽样中的平均值，所以可以为小数。观察频数为 0 时，模型仍可能给出正的平均人数；期望为 0 则表示模型规定该格事件不可能出现。若这时观察到正频数，样本便与模型直接冲突。若格子在设计上不可能出现，它属于结构性零，不参与通常的可行计数空间；可出现类别和自由度也随之改变。

在 $2\times 2$ 表中，Yates 连续性校正对离散计数与连续参照分布之间的差别作修正，一些软件默认采用它。本例校正后 $X^2\approx 10.5455$、$p\approx 0.001165$。是否校正属于方法定义的一部分；按预先规定的原则采用一种方法，才保留相应 $p$ 值的错误率解释。

Pearson 残差与局部偏离

Pearson 残差为

$$r_{ij}=\frac{O_{ij}-E_{ij}}{\sqrt{E_{ij}}},X^2=\sum _{ij}{r}_{ij}^2.$$

对照成功格的残差为 $r=-15/\sqrt{55}\approx -2.02$，干预成功格为 $+2.02$，未成功格的绝对值约为 1.25。残差的符号保留了卡方统计量中被平方消去的方向，分别表示人数低于或高于独立模型的预测；残差平方则给出各格对总体统计量的贡献。

残差也受到行列约束：某格偏高会伴随其他格的相应偏移，而且期望值使用了估计的边际概率。因此各格残差相关，并非一组独立标准正态变量。调整标准化残差进一步计入边际估计对波动尺度的影响，常写为

$$\frac{O_{ij}-E_{ij}}{\sqrt{E_{ij}(1-{\hat{p}}_{i+})(1-{\hat{p}}_{+j})}},$$

其中 ${\hat{p}}_{i+}$、${\hat{p}}_{+j}$ 分别为行、列比例。分母中的边际因子使标准化尺度适应独立性模型的约束，因而在适宜的大样本下，更便于解释单格偏离。逐格寻找异常还构成一组相关比较，其整体错误率问题见多重比较。

总体偏离与分类概率

卡方检验衡量的是观察频数与原假设结构之间的总体相容程度。总数约束、行列边际和拟合参数分别改变可独立变化的方向，所以同一个平方偏差形式可以对应不同自由度。效应量保留实际差异的尺度，残差保留局部偏离的方向，它们补充了总体检验所概括的信息。

计数较少时，可直接保留整数结果的概率，而不借助连续的卡方近似。精确方法与渐近方法的区别由此产生；相关理论和教材主题见 参考教材与开放课程。

习题

1. 四个类别的概率在研究前已指定，样本量 200。检验自由度是多少？若模型含一个从同一分类数据中常规估计的参数，通常如何改变？
2. 一份 $2\times 3$ 表总样本量 10,000，其中一格期望频数 0.4。为什么不能仅凭总量使用普通卡方近似？
3. 100 人各记录两次成功状态，整理为前后 $2\times 2$ 表。能否把前后两列视作两个独立组并使用本章方法？
4. 本例拒绝成功率相同，是否意味着干预对每个人都有效，或者效果大到具有实际价值？

参考解答

1. 指定概率时自由度为 $4-1=3$；满足常规估计和渐近条件时，估计一个参数通常使其变为 2。关键是参数是否由本次数据拟合，不能因为公式里出现参数就一律扣除。
2. 近似依赖各相关类别的频数规模，不只依赖总量。极小期望频数对应高度离散且不对称的波动，应检查稀疏结构并选适当精确或模拟方法。
3. 不能。两次观测来自同一个人，独立性前提不成立。应保留配对信息，二分类前后比较可考虑 McNemar 检验。
4. 不能。检验针对两组总体比例，不估计每个人的个体效应。实际价值要由风险差、成本、收益及区间判断；随机分配的因果解释也需结合执行和失访等条件。

上一篇：18 风险差、风险比与优势比 · 下一篇：20 小样本与精确检验 · 课程总览

相关概念：p值与错误率 · 观测单位与独立性。