25 多分类与有序 Logistic 回归

二分类 Logistic 回归只需描述成功概率，失败概率就随之确定。当结果包含三个或更多类别时，各类概率仍须合计为一，却有了更多可以变化的方向。服务评价可能从“普通”转向“推荐”，也可能从“投诉”转向“普通”；这两种变化未必能由同一个系数描述。

类别的顺序为这种概率变化提供了不同的组织方式。交通方式没有自然的高低关系，适合逐类与基准类比较；满意度可以按等级排列，因而能考察“超过某个等级”的累计对比。多项 Logistic 与有序 Logistic 分别利用这两种结构。它们的预测仍需接受 模型诊断与预测评估 所讨论的检验。“多分类”说的是结果有多个类别，“多变量”说的是解释变量有多个；一个模型可以同时具备这两种特征。

类别结构与模型选择

给步行、公交、驾车编码为 1、2、3，并没有定义交通方式之间的距离。编码 3 也并不表示编码 1 的三倍。若将这些编号直接作为普通线性回归的结果，模型就会利用编号之间的大小和差值；换一套编号，拟合的关系也可能改变。这种变化来自编码选择，而非交通方式本身。

满意度的等级则包含真实的顺序信息。不过，“非常不满意”到“不满意”与“满意”到“非常满意”的差距，未必相等。有序模型保留高低关系，将概率组织为若干累计事件，因此无需赋予相邻等级相同的数值间距。若对有序结果使用无序模型，也可以得到类别概率，但没有利用等级顺序带来的结构。

每一项类别对比都需要相应观察支持。即使总样本有 5,000 人，若某一类别仅有 4 人，与它有关的参数仍可能极不稳定；若这些人又集中在很窄的协变量范围内，模型尤其难以区分协变量效应。类别定义和类别内分布由此影响模型中实际可估计的信息。

多项 Logistic 模型的参数化与概率归一化

设结果 $Y$ 有 $K$ 类，选第 $K$ 类作为基准类，多项 Logistic 模型为

$$\log \frac{P(Y=j\mid x)}{P(Y=K\mid x)}={\alpha }_j+{\mathbf{\beta }}_j^{\mathsf{T}}x,j=1,\dots ,K-1.$$

$x$ 是解释变量向量，${\alpha }_j$ 是类别 $j$ 相对基准类的截距，${\mathbf{\beta }}_j$ 是相应系数。基准类作为相对权重的起点，其余 $K-1$ 类各有一组方程。各类概率之和等于 1，所以不需要再为基准类另立一个独立方程。

令 ${\eta }_j={\alpha }_j+{\mathbf{\beta }}_j^{\mathsf{T}}x$，则

$$P(Y=j\mid x)=\frac{e^{{\eta }_j}}{1+{\sum }_{h=1}^{K-1}{e}^{{\eta }_h}},P(Y=K\mid x)=\frac{1}{1+{\sum }_{h=1}^{K-1}{e}^{{\eta }_h}}.$$

指数项可以理解为类别相对基准类的权重。基准类权重取 1，再用全部权重的总和归一化，所得概率就非负且合计为 1。共同分母是模型结构的一部分：某类权重增加，即使其他类的线性预测项不变，其他类概率也会下降。分别拟合若干二分类模型，通常无法保证这些预测自动组成同一个概率分布。

考虑一个虚构的服务评价结果：“投诉、普通、推荐”。以“普通”为基准，干预指示变量 $x$ 取 0 或 1，假设两组对数比为：

$$\log \frac{P(\text{投诉})}{P(\text{普通})}=\log (0.5)+\log (0.5)x,$$ $$\log \frac{P(\text{推荐})}{P(\text{普通})}=\log (1)+\log (2)x.$$

未干预时，投诉、普通、推荐的权重依次为 $0.5,1,1$，除以总权重 2.5，得到概率 $0.20,0.40,0.40$。干预后的权重为 $0.25,1,2$，总权重变为 3.25，相应概率约为 $0.0769,0.3077,0.6154$。普通类的相对权重没有改变，概率仍因归一化分母增大而下降。

推荐相对普通的概率比乘以 2，推荐概率却没有乘以 2，只从 0.40 变为约 0.615。这两个变化量的分母不同。软件有时将 $e^{\beta }$ 标作 relative risk ratio，所指是某类相对基准类的概率比改变多少倍；二分类风险比 $P(Y=j\mid x=1)/P(Y=j\mid x=0)$ 则直接比较同一类在不同干预条件下的概率。

两个相对基准类的对数比相减，就得到这两个类别之间的对数比。因此，以推荐为基准时，投诉对应的干预系数为 $\log (0.5)-\log (2)=\log (0.25)$。更换基准类只是重写同一个概率模型，不改变拟合出的各类概率。基准类的作用是明确比较对象；若按显著性反复更换它，呈现的就成了经过选择的类别对比。

累计 Logistic 模型与比例优势

有序结果记为 $1<2<\cdots <K$。一个常用的累计 Logistic 模型写作

$$\log \frac{P(Y\le k\mid x)}{P(Y>k\mid x)}={\alpha }_k-{\mathbf{\beta }}^{\mathsf{T}}x,k=1,\dots ,K-1.$$

${\alpha }_k$ 是第 $k$ 个阈值对应的截距，递增的阈值保证累积概率也递增。所有阈值共用同一组 $\mathbf{\beta }$，使协变量效应贯穿各项累计对比。式中采用负号：正的 $\beta$ 减小阈值以下的累积概率，把分布推向较高等级。采用相反符号约定的软件，其系数方向也会相反。

把等式倒过来，有

$$\log \frac{P(Y>k\mid x)}{P(Y\le k\mid x)}=-{\alpha }_k+{\mathbf{\beta }}^{\mathsf{T}}x.$$

在其他协变量固定时，解释变量增加一单位，处于阈值以上相对处于阈值以下的优势乘以 $e^{\beta }$。这个倍数在所有阈值上相同，构成比例优势假设。模型允许各阈值有不同起点，却规定它们在协变量变化时遵循共同的优势倍数。单个等级的概率需要由相邻累积概率相减求出，不能从这个倍数直接读出。

考虑低、中、高三档满意度。设 ${\alpha }_1=\log (1/3)$、${\alpha }_2=\log 3$，干预系数 $\beta =\log 2$。当 $x=0$ 时，$P(Y\le 1)=1/4$，$P(Y\le 2)=3/4$，三类概率为 $0.25,0.50,0.25$。

当 $x=1$ 时，累计优势分别成为 $1/6$ 和 $3/2$，累计概率分别是 $1/7$ 和 $3/5$。于是低、中、高概率为

$$\left(\frac{1}{7},\frac{3}{5}-\frac{1}{7},1-\frac{3}{5}\right)\approx (0.1429,0.4571,0.4000).$$

高于“低”的优势，从 $0.75/0.25=3$ 变为 $0.8571/0.1429=6$；高于“中”的优势，从 $0.25/0.75=1/3$ 变为 $0.40/0.60=2/3$。两个累计对比的优势均乘以 2，而各等级的概率变化并不相同。

比例优势假设的评价

共同系数减少了参数数量，也限制了模型能描述的变化。假如干预主要帮助“低”升到“中”，却几乎不影响“中”升到“高”，两个累计对比可能具有明显不同的效应，比例优势结构就未必合适。

各阈值下的二分类关系可以展示这种限制。例如，分别考察“超过低档”和“超过中档”的协变量系数，能初步看出方向与大小是否一致。由于两项结果来自同一批人，这些比较彼此相关；正式的比例优势检验和预测诊断需要保留这种共同数据结构。

检验的发现能力取决于样本量。小样本下，阈值效应存在差异也可能未被检出；大样本下，很小的偏离又可能产生显著结果。因此，假设是否可接受还取决于各档预测概率的误差，以及这种偏离是否影响研究最关心的对比。

不同偏离对应不同扩展。部分比例优势模型让某些解释变量的效应随阈值变化；无序多项模型不利用等级顺序；连续比模型则适合表达逐级通过的过程。它们所估计的对比有所不同，类别生成机制因而比单个模型的 $p$ 值更能说明哪种参数化合适。

无关选项独立性与观测独立性

标准多项 Logistic 的共同分母在两类概率相除时消去。因此，$P(Y=j\mid x)/P(Y=r\mid x)$ 只由这两类的线性预测项决定。在选择模型中，这形成无关选项独立性（IIA）：模型给原有两项的相对概率比施加了特定的不变结构，即使可供选择的其他选项发生变化。

例如，把“公交”分为几乎相同的“红公交”和“蓝公交”时，二者通常具有较强的相互替代关系，并共享许多未观测因素。标准模型的比例结构可能使新增公交选项从驾车类别分配过多概率，无法体现这种替代关系。嵌套选择模型或多项 Probit 等模型可用于表达更灵活的选项关联结构。

在一般分类研究中，类别间共享的未测因素也可能影响这种比例结构，但其含义需由具体研究背景解释。交通选项的替代关系只是一个例子。领域知识、类别定义和模型稳定性共同构成判断 IIA 的依据；单个检验不能说明所有潜在生成机制。

IIA 约束类别之间的概率比，观测独立性约束不同记录之间的关系。同一家医院的患者或同一个人的多次评价可能相关，即使类别概率模型合适，这种相关性仍会影响标准误与推断，需要群组或重复测量方法。

类别效应与预测概率的解释

对数比系数和预测概率是同一模型的两种表达。前者方便比较优势或相对权重的变化，后者展示特定协变量条件下结果分布的变化。类别定义、基准类、等级顺序和协变量单位一旦确定，二者的对应关系也随之确定。

多项模型参数较多，稀疏类别可能使某些比较几乎没有信息，甚至出现完全分离。有序模型参数较少，也仍可能分离。此时极大的系数和标准误反映估计困难，而不是强而精确的关联。AIC 与交叉验证能比较特定模型的表现，却无法纠正结果类别定义本身的错误。

习题

1. 未干预时，类别 A、B、C 概率为 0.2、0.3、0.5。以 C 为基准，干预让 A/C 的概率比乘以 2，B/C 不变。干预后的三类概率是多少？
2. 某累计模型写成 $\mathrm{logit}P(Y\le k)={\alpha }_k-0.4x$。$x$ 增加一单位意味着什么？若软件写成 ${\alpha }_k+0.4x$，方向是否相同？
3. 三档满意度中，干预对“超过低档”的优势比为 3，对“超过中档”的优势比为 1.1。直接报告一个共同优势比有什么问题？
4. 同一个用户每周评价一次，结果分四类。采用多项 Logistic 后，观察独立问题是否自动解决？

参考解答与推理

1. 基准类权重取 1，原始权重是 $0.4,0.6,1$。干预后为 $0.8,0.6,1$，总和 2.4，概率是 $1/3,1/4,5/12$。A/C 加倍不等于 A 的概率加倍。
2. 按本章约定，较高等级相对较低等级的累计优势乘以 $e^{0.4}\approx 1.49$。若公式采用加号且系数仍为正 0.4，则较低等级的累计优势增加，方向相反。应先检查公式，再解释输出。
3. 两个阈值的作用差异较大，比例优势假设值得怀疑。需要查看不确定性、诊断和机制，考虑更灵活的模型；共同系数可能掩盖干预到底改变了哪一道阈值。
4. 没有。相同用户的记录可能相关；分类结果的模型形式并不改变抽样依赖结构。应根据目标使用合适的群组稳健推断、混合模型或其他重复测量方法。

上一篇：24 模型诊断与预测评估 · 下一篇：26 计数数据与 Poisson 回归 · 课程总览

相关概念：风险优势与效应量 · 解释预测与校准。