24 模型诊断与预测评估

同一个回归模型既可以给出参数估计，也可以给出个体概率。参数所描述的是条件关系，预测所面对的是新个体的结果；把概率化为阳性或阴性，又进一步引入阈值与错误代价。这三个层次虽然共享计算结果，却有不同的统计对象。

模型诊断考察样本是否提供了足够信息，以及假定的条件关系是否与资料相容。预测评价考察新样本上的排序和概率质量，决策评价则把这些概率与具体代价结合。AUC、精确率、校准和概率损失之间的差别，来自各自定义的分母、尺度与平均方式。

Logistic 回归提供了条件概率模型，重抽样说明估计不确定性的抽样依据，研究设计则决定观测之间的关系及验证人群的来源。

关联推断与预测的研究目标

在关联推断中，干预系数及其区间指向一个给定调整条件的统计对象。基线混杂变量进入模型，是为了形成合理的比较条件，而非为了提升分类分数。删除它可能提高 AUC，却也可能把原先控制的基线差异重新混入组别系数。函数形式和未测混杂同样影响这个系数所描述的关系。

个体预测则关心目标人群中的结局概率及决策损失。只在观察结果后才产生的变量可以很强地关联结果，却无法在提前预测时使用。未来或外部人群的变量分布、基线发生率和可得信息决定了模型所面临的预测任务，训练样本中的表现只描述其中一部分。

推断诊断围绕参数对象展开，关心设计、函数形式与估计稳定性，不必仅为取得样本外分数而任意减少用于估计的数据。预测误差则以未参与模型选择的新结果为对象：同一批资料既拟合又评价，会让算法对已有样本的适应混入性能估计。一个方程兼有两种用途时，两种证据仍分别成立。

贯穿教程的虚构表以 $40/200$ 和 $70/200$ 概括两组成功频数，它足以说明未调整的效应估计，却没有逐行协变量来刻画多变量预测。具有逐行模拟资料的模型拟合与训练／测试比较见二分类研究的综合分析。

模型假设与估计诊断

每个系数都由样本中的成功与未成功共同约束。类别很稀疏时，能区分条件概率的观察较少；若某些变量组合全成功或全失败，似然甚至可能沿一个参数方向持续增加，形成分离。巨大系数、巨大标准误、边界预测和收敛警告因此对应信息不足或有限极大值不存在的结构。类别及组合频数揭示这种信息来自哪里，继续迭代本身不会改变它。

共线性来自设计矩阵列之间的冗余。一个解释变量若能由其他列近似重建，某个系数增加、其他系数相应减少，可以使线性预测子几乎保持不变。样本便难以区分这些系数分配，似然在相应方向上较平坦，个别系数和符号容易波动，标准误也较大。含截距时同时放入全部类别指示，是这种冗余的精确形式。

两两相关只描述两列之间的关系，多列共同形成的线性组合可以具有同样问题。方差膨胀因子 VIF 衡量某列相对于其余列的线性冗余，条件数刻画整个矩阵在不同方向上的敏感程度；它们提供不同层次的信息，也要结合变量量纲与含义解释。正则化通过限制系数变化提高预测稳定性，但删除变量或惩罚系数也可能改变效应推断的调整对象。

一个年龄一次项假定年龄与 logit 呈直线关系。若真实条件关系弯曲，共同斜率只能平均这种变化，概率曲线便可能在部分年龄区间系统偏离。有限的样条或预设非线性项在预测子中扩展可表达的形状。Logistic 逆链接负责从 logit 转回概率，其自身的弯曲不等于已经表达年龄与 logit 的非线性。

观测依赖和影响点涉及另一类信息结构。同一人的重复结果、班级或医院内共同变化，使有效波动不同于独立行的波动，需要设计相符的模型或方差估计。协变量取值远离主要样本时，高杠杆观测可能明显决定曲线；记录错误与真正罕见的个体又有不同含义，原始记录和敏感性分析有助于区分。仅因删除后 $p$ 变小而删除，会让样本选择依赖所期待的结论。

Bernoulli 残差 $y_i-{\hat{p}}_i$ 由 0/1 结果与预测概率共同决定，其支持结构和方差天然随概率变化。因此，正态且同方差的残差要求并不适用于此处。Pearson／deviance 残差、影响诊断和各风险区间的实际发生率，从不同角度刻画系统偏离。Hosmer–Lemeshow 把预测概率分组后比较频数，结果也随分组和样本量变化；“$p>0.05$”表示该次检验未拒绝，无法确立整个条件模型正确。

验证设计与信息泄漏

独立同分布个体可以按结果分层抽取训练集和测试集，例如 80%／20%，使两部分阳性构成相近。训练内部的交叉验证比较变量形式、正则强度、缺失处理、校准方法和阈值，最终测试则评价已经确定的完整方法。若反复按测试分数修改模型，测试结果也参与了选择，性能估计所依赖的独立性随之丧失。

验证资料与训练资料之间的关系应模拟应用中的新信息。同一个人或家庭跨两部分时，模型可能通过相关记录获得新样本的间接信息，所以相关记录按单位共同划分。未来预测对应时间留出，新医院的预测对应医院留出；普通随机分层主要保留阳性比例，未必同时表达这些时间和集群关系。

填补、缩放、特征筛选和类别编码也属于学习过程。若这些规则由全部数据确定，验证资料的信息已经进入最终预测方法，即使回归拟合本身只使用训练行，完整方法仍未独立于验证资料。由每折训练数据学习规则再应用到留出折，才评价完整学习过程的预测误差。合成过采样也改变训练资料的信息结构，置于训练折内才能使评估集保持目标人群分布。

测量时间还决定变量的统计角色。模拟资料中的 baseline_visits 是干预前访问量，表达基线差异；干预后访问量则可能反映干预的影响，也可能在提前预测时尚不可得。这两种测量即使名称相近，条件比较和预测任务也不同，数据字典中的测量时间因而具有统计意义。

混淆矩阵与分类指标

以下虚构独立评估样本用于手算。模型在评价前已经确定，为各个体给出成功概率：

人	实际 $y$	预测 $p$
1	1	0.90
2	1	0.80
3	1	0.40
4	1	0.30
5	0	0.70
6	0	0.20
7	0	0.10
8	0	0.05

采用 $p\ge 0.5$ 的规则预测成功，两个成功者被正确识别，两个被漏掉；一个未成功者被判为成功，其余被判为未成功。对应频数为 TP=2、FN=2、FP=1、TN=3：

$$\text{敏感度／召回率}=\frac{TP}{TP+FN}=0.50,\text{特异度}=\frac{TN}{TN+FP}=0.75,$$ $$\text{精确率／阳性预测值}=\frac{TP}{TP+FP}=\frac{2}{3},\text{准确率}=\frac{TP+TN}{n}=\frac{5}{8}.$$

这些指标以不同条件人群为分母。召回率在实际阳性中度量被识别者，精确率在预测阳性中度量真正阳性者；特异度在实际阴性中度量正确排除者，阴性预测值则在预测阴性中度量真正阴性者。指标数值的区别来自所问的条件概率不同，混淆矩阵给出了这些条件人群的样本频数。

准确率按人群总数平均，把常见类别和稀有类别混在一起。阳性率若只有 1%，全判阴性仍有 99% 准确率，但召回率为零，阳性识别完全失效。没有预测阳性时，精确率的分母为零，数学上未定义；软件的特殊处理不能改变这个缺少条件人群的事实。

ROC 曲线与排序能力

随阈值变化，真阳性率 TPR（召回率）与假阳性率 FPR=$1-\text{特异度}$ 形成一系列配对值。以 FPR 为横轴、TPR 为纵轴得到 ROC 曲线，其 AUC 刻画整体排序：随机比较一位阳性与一位阴性，阳性评分较高的概率越大，AUC 越大；同分通常计半次正确。

8 人表提供 $4\times 4=16$ 对正负比较。阳性评分 0.90、0.80 各超过 4 个阴性，0.40、0.30 各超过阴性中的 0.20、0.10、0.05，共 3 个。相加并除以全部组合数，得到

$$\mathrm{AUC}=\frac{4+4+3+3}{16}=\mathrm{0.875.}$$

阈值 0.5 只识别本例一半阳性，AUC 则综合了全部正负排序，两者评价不同。严格单调递增变换，例如将 $p$ 变为 $p^2$，保持所有正负比较的先后关系，也就保持 AUC；概率值发生变化，阈值分类和校准却可以改变。

ROC 分别在实际阳性和阴性内计算比例，阳性率不直接进入这两个分母。然而，人群和疾病谱可以改变各类别内的评分分布，AUC 也随之变化。总体发生率与类别内部构成是不同的分布性质，应用人群改变后的表现取决于它们怎样改变。

PR 曲线与平均精确率

PR 以召回率为横轴、精确率为纵轴，表达识别更多阳性时，预测阳性集合中的真实阳性比例怎样变化。随机排序的精确率基准通常接近人群阳性率，本例为 $4/8=0.5$；阳性率只有 1% 时，基准也相应很低。因此 PR 既受排序影响，也与人群构成有关，不同发生率资料的指标差异可能同时包含这两方面作用。

按评分由高到低加入个体，本例在第 1、2、4、5 名遇到阳性，彼时精确率分别为 $1,1,3/4,4/5$。每次新阳性使召回率增加，平均精确率 AP 以这种增量加权各次精确率：

$$\mathrm{AP}=\frac{1}{4}\left(1+1+\frac{3}{4}+\frac{4}{5}\right)=\mathrm{0.8875.}$$

AP 在召回增加处累计精确率，梯形插值则以另一规则连接 PR 点，所以两种面积数值可能不同。本例只有四位阳性，少数个体排序的改变就可能明显改变指标；点估计适于说明计算，尚不足以提供精密的性能证据。

概率校准与 Brier 分数

校准描述预测概率与实际频率的对应关系。一批个体的预测接近 $p\approx 0.7$，校准良好时，其成功比例也接近 70%；每个个体仍有两种可能结果。总体预测均值与实际发生率表达整体对应，校准曲线表达不同风险水平的对应；截距和斜率则对这种关系作简洁参数化。

令 $z_i=\mathrm{logit}({\hat{p}}_i)$，在独立评估资料中拟合 $\mathrm{logit}P(Y_i=1\mid z_i)=a+b{z}_i$，就把预测的 logit 与观察到的条件 logit 相联系。理想关系是 $a=0,b=1$；斜率明显小于 1 表示观察关系相对于预测更加收缩，常提示预测过于极端，也可能与过拟合有关。若固定斜率为 1，只估计总体校准截距，负截距便表示原预测整体偏高。这两种截距定义不同，小样本中参数本身也不稳定；用来发现偏离的拟合，尚未证明依据它调整后的概率具有外部校准。

按十分位聚合概率，可以把观察频率和预测均值放在同一图上。小组样本少时，频率的抽样波动很大；改变组界也会改变曲线形状，平滑方法和不确定性表达因此是对分组图的补充。若利用训练内部或另一个验证集估计校准关系，再到未用资料中评价，可以区分拟合与验证；在同一测试集上调整并评价，则仍有对这批结果的适应。

Brier 分数把预测概率与二元结果的平方差取平均：

$$\mathrm{BS}=\frac{1}{n}\sum _i({\hat{p}}_i-y_i{)}^2.$$

本例阳性部分的误差和为 $0.01+0.04+0.36+0.49=0.90$，阴性部分为 $0.49+0.04+0.01+0.0025=0.5425$，平均以后得到 $\mathrm{BS}=1.4425/8=0.1803125$。同一资料中，固定预测 0.5 的参考模型得到 Brier 0.25。

平方误差的条件期望同时包含结果自身的 Bernoulli 波动，以及预测概率偏离真实概率的损失。Brier 因而随发生率、区分能力和校准共同变化，较低数值表示总概率误差较小，却不是校准单项的量度。罕见事件中，固定低概率也可能有较小误差；以训练集发生率作为基准，并结合排序与校准，才能看清模型利用了多少个体差异信息。

决策代价与分类阈值

概率转成分类需要引入决策代价，0.5 本身没有普遍最优性。设概率对目标人群已校准，假阳性代价为 $C_{FP}$，假阴性代价为 $C_{FN}$，只计这两种错误成本。判阳性的期望代价为 $C_{FP}(1-p)$，判阴性的为 $C_{FN}p$。比较两者，得到使条件期望代价较小的阈值

$$t=\frac{C_{FP}}{C_{FP}+C_{FN}}.$$

若漏掉阳性的代价为 4、误报为 1，阈值为 0.2。8 人表中，规则 $p\ge 0.2$ 给出 TP=4、FP=2、FN=0、TN=2，总代价为 2；阈值 0.5 对应的代价为 $2\times 4+1=9$。差异来自对漏报和误报的不同加权。这是预先给定代价的样本演示，0.2 对其他人群是否合适，还取决于相应概率与成本条件。

限定名额、干预风险、收益和不确定成本都可能改变实际决策问题。训练内部或验证集中的阈值选择属于方法形成过程，最终测试评价的是已经确定的完整策略。发生率改变或概率失准时，原来的期望代价比较也会改变，旧阈值未必继续适合新的条件。

预测研究的结果解释

预测性能总是相对于一个人群及观察过程而言。事件定义决定谁被计为阳性，数据期间与观察单位决定资料的时间和依赖结构，样本与事件数决定估计精度，划分方式决定新信息怎样进入评价。发生率影响 PR／AP 及概率损失，AUC 描述排序，校准与 Brier 描述概率质量，指定阈值的混淆矩阵与代价描述决策结果。这些资料特征与指标共同构成结果的统计含义。

性能估计也存在抽样波动。符合观察单位的 bootstrap 或其他适当方法可以构造区间；聚类资料按集群重抽，才保留原有共同波动。若把相关行独立重抽，便遗漏协方差，区间所表达的精度也失去原设计依据。

内部区间刻画已有评价分布中的抽样不确定性，外部验证考察研究地区、测量方法或目标人群变化后的表现。即使内部区间很窄，分布改变仍可能导致性能差异。测试资料若参与了模型或阈值选择，常规区间也不会自动消除这种选择偏差；它与单纯抽样波动属于不同的不确定性来源。

性能指标的统计含义

排序、概率与决策分别对应正负比较、条件发生频率和代价加权分类。ROC-AUC 与 AP 在相应人群构成下概括排序，校准描述概率对应，Brier 汇总概率平方误差，混淆矩阵则以指定阈值划分个体。由此，一项指标的良好数值并不能替代其他层次的证据。

样本所提供的信息量、条件关系的函数形式和联合观测结构，贯穿参数诊断与预测评价。结果扩展到无序多类别或有序等级时，概率之间还会出现新的类别约束，模型和评价对象也随之扩展。预测理论与教材讨论见 参考教材与开放课程。

习题

1. 本例 AUC 为 0.875，能否证明预测 0.8 的人有 80% 成功概率？
2. 为什么应在划分后学习缺失填补值？同一个人的重复记录应该怎样划分？
3. 阈值 0.5 下精确率与召回率分别是多少？假阴性代价为 4、假阳性为 1 时，校准概率对应的简化成本阈值是多少？
4. 两个模型 AUC 相同，其中一个把概率全部平方，是否可以认为它们的概率质量相同？

参考解答

1. 不能。AUC 衡量正负排序；校准需要比较预测概率与实际发生率。相同排序可对应非常不同的概率。
2. 全数据填补让测试分布的信息进入训练。应在训练学习并应用于测试，交叉验证时逐折重复。重复记录按个体分组，防止同一人同时进入训练和测试；时间任务还需遵循预测时序。
3. 精确率 $2/3$，召回率 $2/4=0.5$。简化成本模型下阈值为 $1/(1+4)=0.2$，前提包括目标人群概率校准与明确的成本结构。
4. 不能。平方严格保留排序，因而 AUC 相同，却改变了概率与 Brier／校准表现。要分别评估概率质量。

上一篇：23 二分类 Logistic 回归 · 下一篇：25 多分类与有序 Logistic · 课程总览

相关概念：解释预测与校准。