同一个 Logistic 方程可以用于关联解释,也可以用于个体预测。关联解释考察固定调整条件后变量与结局的关系,预测则考察模型对新对象的结局概率估计得怎样。数学形式相同,并不使这两种研究目的的证据要求相同:前者关注参数所对应的比较,后者关注未来或未见资料上的误差。

区分能力与概率校准

ROC-AUC 衡量预测排序区分两类对象的能力,校准则衡量预测概率与相应人群中事件频率是否对应。例如,预测为 .30 的对象是否约有三成成功,涉及概率数值的含义,而不仅是这些对象排在谁之前。

严格单调递增变换可以保持预测的排序,AUC 也随之保持,却可能改变概率与事件频率的对应关系。排序相同的两个模型,由此仍可能在概率校准上不同。Brier 分数与对数损失补充概率误差信息,其解释还可结合简单预测基线。诊断与预测评估 介绍了这些评价量各自描述的性质。

新对象上的预测证据

模型若在同一份资料上完成训练、特征选择、插补规则估计和阈值调整,再用这份资料评价表现,评价过程已经受到了这些选择的影响。独立测试资料需要与上述选择隔离,才能考察面对未参与拟合的对象时误差如何变化。

测试资料还需尽可能接近预期使用情境。随机切分通常在原有资料分布内评价模型,所得表现不足以保证对未来、外地或不同人群有效。罕见结局中,PR 指标还受到阳性率影响;阈值则把概率转成决策,需要结合误判成本,而不能仅由排序指标确定。

关联解释同样有其条件。模型的 OR 与概率 对应不同尺度,系数含义依赖调整变量和模型形式。若要进一步解释因果作用,还需 因果识别 中的识别依据。条件效应与个体预测 将两种目标用于同一份教学资料,分别组织估计与评价。

返回 概念索引。