27 缺失数据、混杂与因果识别

同一总体中，并非每个人都愿意回答问题，也并非每次随访都能完成。对已经留下的数据拟合回归，得到的是这些观测中的关系；这种关系是否能代表原人群，取决于谁被观察、谁没有被观察。变量调整也会改变比较条件，甚至改变所估计的效应。

研究设计决定资料如何形成，分层分析揭示条件比较与总体比较的区别，Logistic 回归则为条件关联提供参数表达。本章把这些关系进一步放到缺失与选择机制中讨论：缺失假设如何支持估计，插补如何表达未知值的不确定性，以及条件关联需要满足什么条件才具有因果含义。

缺失值的含义与观测过程

收入未被记录与收入为零分别表示观测缺失和真实取值，不能采用相同编码。类似地，结局未被追踪并不等于结局未发生。空白记录可能来自缺测、结构性不适用、系统未同步、问卷跳题或拒绝回答，其统计含义需要由数据字典与采集过程确定。

“孕期检查次数”对没有怀孕的人可能不适用。给这类结构性不适用值插补一个数字，会创造不存在的测量。又如随访结果必须等 30 天才能确定，不能把第 7 天仍未发生的事件记作最终失败。

缺失比例与缺失组合描述损失了多少信息，随时间或组别变化的缺失模式则提供机制线索。但比例本身不能确定偏差：缺失 2% 仍可能集中于某类关键对象，缺失 30% 也可能在合理条件下得到有效处理。决定估计性质的是缺失与结果、解释变量及选择过程的关系。

缺失机制的条件概率定义

设 $R$ 表示是否观测到某项数据，将整份资料分为已观测部分 $Y_{obs}$ 与缺失部分 $Y_{mis}$。缺失机制描述：如果完整数据原本具有某些取值，这些值被观测到的概率是多少。三种常用假设如下：

• 完全随机缺失（MCAR）：缺失概率不依赖已观测或未观测数据。例如测量文件因与研究对象无关的随机传输故障丢失。
• 随机缺失（MAR）：给定已观测信息后，缺失概率不再依赖缺失值本身。它可以依赖已观测信息，所以不是日常语言中的“随机丢一点”。
• 非随机缺失（MNAR）：即使给定已观测信息，缺失概率仍依赖缺失值。未观测因素若造成这种剩余依赖，也可能导致 MNAR；仅仅存在一个未测因素，并不足以判定 MNAR。

形式上，MAR 写作

$$P(R\mid Y_{obs},Y_{mis})=P(R\mid Y_{obs}).$$

例如已知年龄越大越不愿回答满意度，但在每个相同年龄条件下，是否回答与未观测的实际满意度无关，这可符合基于年龄的 MAR。若越不满意的人越拒绝回答，即使年龄相同仍如此，则更接近 MNAR。

MAR 的条件是“给定已观测信息之后”，所以它总是相对于可利用的资料而言。基线满意度或联系次数若与失访有关，纳入这些信息后，MAR 可能更合理。名字中的“随机”并未声称所有人的缺失概率相等。

缺失与已观测变量存在关系，可以成为反对 MCAR 的证据。区分 MAR 与 MNAR 更困难，因为差别恰好涉及看不到的值。通常，仅靠当前已观测资料无法识别这种依赖；回访样本、采集机制和外部资料因此具有统计价值。未发现显著关系，也不等于缺失机制已经得到验证。

完整案例分析与单次填补

完整案例分析把所需变量都观测到的人作为分析样本。MCAR 下，这种删减常保持相应估计的有效性，却减少样本信息。如果保留者的结局风险与其他对象不同，边际成功率就可能有偏。条件回归参数又有更具体的有效情形：选择只依赖已观测协变量、不依赖给定这些协变量后的结果，并且回归模型正确时，条件关系仍可能被有效估计。完整案例方法的性质因此必须与估计目标一起说明。

均值填补把所有缺失者放在同一个数值上，压缩协变量方差并改变相关结构。众数填补类别也把未知取值当成已知。即使单次预测填补较准确，通常也遗漏了填补值的不确定性，因而低估推断标准误。预测任务可以采用训练资料确定的填补规则，并在独立资料上评价整个预测器；效应推断则还要正确计算缺失所增加的不确定性。

“是否缺失”可能反映测量或选择过程，因而具有预测价值。不过，知道某项资料缺失，并不等于知道它的取值。缺失指示变量用于效应调整时，仍可能留下协变量未被充分控制的偏差。这再次体现了预测目标与效应推断目标的区别。

多重插补与方差合并

多重插补把缺失值视为仍然未知的量。插补模型提供多个合理的完整数据版本，每个版本对应一组可能取值。不同版本间的变化保留下来，最终进入估计方差。这使填补过程所引入的不确定性成为推断的一部分。

设有 $m$ 个插补数据集，每个都包含原来的 $n$ 个对象。同一个分析模型在各版本上给出估计与方差，合并时同时计入版本内部的抽样不确定性和版本之间的变化。它们并不是新招募的对象；将资料叠成 $mn$ 行直接回归，会误把同一批人的不同可能取值当成独立样本。

若第 $l$ 个插补数据集得到参数估计 ${\hat{Q}}_l$、方差估计 $U_l$，Rubin 合并规则的核心为

$$\overline{Q}=\frac{1}{m}\sum _{l=1}^m{\hat{Q}}_l,\overline{U}=\frac{1}{m}\sum _{l=1}^m{U}_l,$$ $$B=\frac{1}{m-1}\sum _{l=1}^m({\hat{Q}}_l-\overline{Q}{)}^2,T=\overline{U}+\left(1+\frac{1}{m}\right)B.$$

$\overline{U}$ 表示完整数据集内部的平均估计方差，$B$ 表示参数估计在不同合理插补之间的变异。总方差 $T$ 将这两种来源结合，并通过有限插补次数的校正计入模拟误差。区间构造还涉及适当的自由度。Logistic 系数通常在对数优势尺度上合并，再将估计与区间端点取指数；直接平均 OR 或 $p$ 值不对应上述方差合并规则。

在一个计算例中，三次插补的系数为 0.4、0.5、0.6，每次方差为 0.04，于是 $\overline{Q}=0.5$、$B=0.01$、$T=0.04+(1+1/3)\times 0.01\approx 0.0533$，合并标准误约为 0.231。单次标准误 0.2 没有计入插补间变异。这里用三次说明公式；实际所需次数还取决于缺失信息比例和 Monte Carlo 误差，次数足够时合并结果应具有合理的数值稳定性。

插补模型需要表达缺失值与分析变量之间的关系，包括结果、相关辅助变量，以及重要的非线性、交互和类别结构。推断中，已观测结局常能帮助恢复基线协变量与结局的关系；在未来对象的预测中，尚未知晓的结局却不能参与填补。两种用途对可利用信息有不同限制。

链式方程插补（MICE）为不同变量指定不同条件模型。其合理性不仅取决于计算是否完成，也涉及链的行为、插补取值的范围与分布、类别合法性，以及插补模型与分析模型是否相容。采用常规 MAR 插补时，MNAR 所涉及的剩余依赖并没有被纳入，相关偏差也不会自行消失。

调整变量的时间顺序与因果结构

设 $A$ 为干预，$Y$ 为结果，$U$ 为干预之前的健康状况。若健康状况既影响干预选择，又影响结果，就形成混杂。观察到的组间差异同时包含干预与基线构成差异。

给定 $U$ 比较干预，是为了在背景可比的人之间估计关系。是否需要调整一个变量，取决于时间顺序与因果机制。单变量 $p$ 值小于 0.05 只说明该样本中的某项检验结果；它可能漏掉不显著的真实混杂变量，也可能选中显著却不该调整的变量。

共同原因、中介和碰撞变量在因果结构中占据不同位置。干预前同时影响分组与结果的共同原因，是混杂调整所关注的变量。中介发生在干预之后：例如干预提高参与度，参与度再影响结果，调整参与度可能删去希望估计的部分总效应。

碰撞变量是两个变量的共同结果。若干预与疾病严重程度都影响进入某家医院，限定只分析该医院的对象，就可能使原本无关的干预与严重程度产生关联。这种偏差来自条件选择，而不是来自基线共同原因。

随机化使基线因素在分配机制中不决定干预，能在总体上消除基线混杂，但不是保证本次样本的每个背景变量恰好相等。预先规定的基线调整可以提高精度；随机化后的失访、排除或按实际接受干预重分组，仍可能引入选择偏差。

优势比的非可塌缩性使得条件 OR 与边际 OR 在没有混杂时也可能不同。因此，调整后的 OR 与粗 OR 有差异，不足以单独证明存在混杂；“加入变量后系数变化了 10%”也不能作为辨认因果结构的唯一依据。

因果效应的定义与识别条件

潜在结果 $Y(1)$、$Y(0)$ 表示同一个对象在接受与不接受干预时的结果。我们每次只能看到其中一个，目标可以是总体平均因果风险差

$$E\{Y(1)-Y(0)\}.$$

观察性研究用条件关联估计这一目标时，通常需要满足几项条件：干预定义清楚，观测结果与对应潜在结果一致；给定选定的干预前协变量 $X$ 后没有未控制混杂；各相关 $X$ 条件下都有接受和不接受干预的机会。还需考虑一个人的干预是否影响其他人的结果。

满足这些条件时，可以用标准化计算

$$E\{Y(a)\}=E_X\{E(Y\mid A=a,X)\}.$$

外层期望按照目标人群的 $X$ 分布对条件均值加权，因而保留了人群中不同背景的构成。将协变量均值代入模型一次通常不等于这种平均，尤其在非线性链接下。模型错设、未测混杂或缺乏重叠均可能影响标准化结果；Logistic 回归的条件 OR 与上述总体风险差也属于不同目标量。

识别条件与显著性回答不同问题。即使控制若干变量后关联仍显著，选择偏差、测量误差、未观测混杂或错设的研究目标仍可能存在。显著性刻画模型中的抽样证据；因果解释依赖上述设计与识别条件。

缺失与未测混杂的敏感性分析

对于缺失结局，可以先在 MAR 下得到缺失者的预测概率 $p_{MAR}$，再假定真实概率的 logit 偏移 $\delta$：

$$\mathrm{logit}{p}_{MNAR}=\mathrm{logit}{p}_{MAR}+\delta .$$

$\delta =-0.7$ 表示缺失者的成功优势约为 MAR 预测的 $e^{-0.7}\approx 0.50$ 倍。对一系列有背景依据的 $\delta$ 重新分析，可以查看结论在何种缺失假设下会改变。这属于模式混合敏感性分析；$\delta$ 由分析者设定，不是从当前观测数据中估计得到。

未测混杂的敏感性问题是：一个未测因素需要具有多强的影响，才能解释当前结果？答案随所假定的机制和参数范围变化。敏感性分析展示的是这种依赖，不能从中验证被设定的假设，也不能据有限场景排除所有遗漏机制。

习题

1. 缺失满意度的人年龄更大，能否认为缺失必定是 MNAR？还需要知道什么？
2. 为什么多重插补不能把多个插补表合并成更大的样本？为什么合并 OR 前通常先合并回归系数？
3. 研究培训对通过率的总效应，培训影响练习时长，时长影响通过率。把练习时长放进模型可能改变什么？
4. 随机试验中干预组 30% 失访、对照组 5% 失访，且失访可能与结局有关。随机化能否直接保证仅分析随访者得到无偏结论？

参考解答与推理

1. 这反对“与观测信息无关”的简单 MCAR 解释，但 MAR 允许缺失依赖年龄。要判断 MNAR，还需知道在相同已观测信息条件下，缺失是否继续依赖未观测的真实满意度；通常需流程证据或额外数据，不能由该年龄差异直接判定。
2. 各表是同一批人的不同可能完整版本，不是新的独立对象。合并规则在近似正态的系数尺度上处理方差，Logistic 的对数 OR 更适合；直接平均指数后的 OR 不遵循同一规则。
3. 练习时长是可能的中介，调整它可能阻断培训通过练习影响结果的路径。得到的参数不再自然代表总效应，还可能因中介与结果的未测共同原因引入额外偏差。
4. 不能。随机化保护最初的分配，限定被随访者可能打破可比性。需要研究失访机制、坚持明确的分析人群，并使用有假设支撑的缺失处理和敏感性分析。

上一篇：26 计数数据与 Poisson 回归 · 下一篇：28 二分类研究的综合分析 · 课程总览

相关概念：混杂与因果识别 · 随机抽样与随机分配。