22 从线性模型到广义线性模型

分层比较在给定基线条件后讨论成功概率。协变量增多，尤其包含年龄这类连续量时，一张张分层表难以完整描述关系；回归用一个函数连接协变量与结果的条件均值。函数的形式受到结果取值范围及其随机波动的共同约束。

连续结果的均值可以在实数范围中变化，二元结果的均值则是成功概率。它的方差由概率决定，这使普通线性模型的恒定误差方差假设不适合直接描述所有二元资料。广义线性模型把结果分布、均值函数和参数结构联系起来，允许不同测量尺度采用不同的链接。

均值与波动的区分承接期望与方差，给定协变量的均值由条件期望定义；似然则把这种条件分布与参数估计联系起来。

条件均值与回归函数

设结果为 $Y$，解释变量为 $X$。给定解释变量取值以后，回归函数定义为条件期望

$$\mu (x)=E(Y\mid X=x).$$

在同一个 $x$ 下，个体结果可以各不相同，$\mu (x)$ 描述的是相应条件分布的平均水平。平均值估计的不确定性来自有限样本；预测单个个体还包含结果自身的随机变异，所以两种不确定性具有不同来源。

条件均值与一个解释变量的简单线性关系写作

$$E(Y\mid X=x)={\beta }_0+{\beta }_{1}x.$$

截距 ${\beta }_0$ 给出 $x=0$ 时的均值，斜率 ${\beta }_1$ 给出 $x$ 增加一单位时的均值差。若 $x=0$ 缺少实际含义，以 $x=\mathrm{age}-40$ 表示年龄，截距便对应 40 岁。中心化是坐标原点的移动，同一条均值曲线因此得到另一种参数解释，而非另一组拟合值。

多个解释变量的共同参数结构为

$${\eta }_i={\beta }_0+{\beta }_1{x}_{i1}+\cdots +{\beta }_p{x}_{ip}={\mathbf{x}}_i^{\top }\mathbf{\beta }.$$

这里的线性指各参数以加法和乘法进入预测子。年龄平方、样条基函数或乘积 $x_1{x}_2$ 都可以作为已定义的变量项进入 $\eta$。因此，参数线性可以表达原始变量的弯曲关系和交互关系；这种函数表示描述的是条件均值，其因果含义另由设计与变量角色确定。

普通线性模型与最小二乘估计

普通线性模型以 $Y_i={\mathbf{x}}_i^{\top }\mathbf{\beta }+{\epsilon }_i$ 区分条件均值与随机误差，条件 $E({\epsilon }_i\mid {\mathbf{x}}_i)=0$ 使误差在给定解释变量后没有系统方向。最小二乘依据样本选择平方残差总和最小的参数：

$$\hat{\mathbf{\beta }}=\arg \underset{\mathbf{\beta }}{\min }\sum _i(y_i-{\mathbf{x}}_i^{\top }\mathbf{\beta }{)}^2.$$

不同观测独立且误差方差相同时，平方残差所提供的变异估计支持常规标准误；再加正态误差，经典小样本 $t$、$F$ 分布才具有相应依据。最小二乘的计算及许多大样本性质本身不要求严格正态。若条件均值形式错误，或误差与解释变量系统相关，变化的不只是误差尺度，估计所指向的均值关系也会改变，因而仅更换标准误无法纠正。

渠道 search、social、referral 没有自然的等距次序。赋值 $0,1,2$ 会把相邻差异强制设成相同；用 search 作参考，再以两个 0/1 指示表示 social 和 referral，则允许它们分别偏离参考均值。含截距时，三个完整类别指示的和恒为 1，第三列与其余列形成确定关系，这就是精确共线性。

二元结果的条件均值与方差

二分类结果以 $Y=1$ 表示成功、$Y=0$ 表示未成功。在解释变量 $x$ 给定后，若成功概率为 $p(x)$，条件均值和方差由这两个可能结果直接求得：

$$E(Y\mid x)=0(1-p)+1p=p(x),\mathrm{Var}(Y\mid x)=p(x)[1-p(x)].$$

均值位于 $[0,1]$，是二元结果取值的直接结果。方差在概率靠近边界时较小，在中间概率时较大；结果始终只有 0 与 1。因此均值范围和异方差并非额外选项，而是 Bernoulli 结构的一部分。

若仍用 $p(x)={\beta }_0+{\beta }_{1}x$ 表示概率，便得到线性概率模型。只含干预指示 $T$ 的贯穿案例具有两个自由组均值，最小二乘给出 $\hat{p}=0.20+0.15T$，恰好恢复两组样本比例。此时斜率直接等于风险差，具有清楚的概率尺度解释。

一般的多变量线性预测子没有概率边界。例如 $\hat{p}=0.25+0.02(\mathrm{age}-40)$ 在 18 岁时为 $-0.19$，在 80 岁时为 $1.05$，超出了概率取值范围。即使样本中的预测合法，外推到新协变量值时也可能越界。此外，Bernoulli 方差随概率变化，所以普通同方差标准误与其波动结构不符。

线性概率模型在某些因果分析中仍可用于风险差估计，异方差稳健或聚类标准误能够适应相应的波动结构。这种调整涉及方差估计，并不改变均值函数本身；均值形式、样本依赖和概率边界因此仍属于 OLS 的适用条件。

广义线性模型的构成

广义线性模型（generalized linear model，GLM）由条件分布出发，在均值范围和解释变量结构之间引入链接：

（1）随机部分给定 $Y_i$ 的条件分布，经典 GLM 使用指数族中的正态、Bernoulli／二项、Poisson 等分布。（2）系统部分以线性预测子 ${\eta }_i={\mathbf{x}}_i^{\top }\mathbf{\beta }$ 描述参数结构。（3）链接函数规定 $g({\mu }_i)={\eta }_i$，使有取值约束的均值与可在实数范围变化的预测子对应。分布给出波动，预测子给出协变量结构，链接则将两者的均值联系起来。

结果	常用条件分布	常用链接 $g(\mu )$	条件方差
连续数值	正态	恒等 $g(\mu )=\mu$	${\sigma }^2$
0/1	Bernoulli	logit $\log [p/(1-p)]$	$p(1-p)$
非负整数计数	Poisson	对数 $\log \mu$	$\mu$

若每行观察的是 $n_i$ 次独立同概率试验中的成功数，随机部分为 $S_i\sim \mathrm{Binomial}(n_i,p_i)$。模型链接成功概率 $p_i$，平均成功人数则为 $n_i{p}_i$；两种量纲不能混同后代入 $\log [p/(1-p)]$。比例值相同而分母不同，其抽样精度不同，因此以比例作响应时，试验次数也是似然所需信息。

Poisson 回归的均值关系是 $\log E(Y\mid x)=\eta$，链接作用于条件期望。直接对结果取对数再做 OLS，均值关系则是 $E(\log Y\mid x)=\eta$。非线性变换与取期望通常不能交换，两者因而描述不同对象；$Y=0$ 的对数还缺少定义。计数分布和暴露量的关系见Poisson 回归。

logit 链接及其逆函数

概率在 $0<p<1$ 时，对应正优势 $p/(1-p)$。取其对数，得到 logit 链接

$$g(p)=\log \frac{p}{1-p}=\eta .$$

当 $p$ 从接近 0 变到接近 1，logit 从负无穷变到正无穷。由此，实数预测子中的每个有限值都可以对应一个内部概率。反解 $p$ 得到

$$\frac{p}{1-p}=e^{\eta }\Rightarrow p=\frac{e^{\eta }}{1+e^{\eta }}=\frac{1}{1+e^{-\eta }}.$$

这就是 logistic 逆链接函数：链接以概率为自变量得到实数预测子，逆链接以预测子为自变量返回概率。两种映射互为反向，使模型既能保留线性参数结构，又能表达受限的条件均值。

$\eta$	$p$（约）
-2	0.119
-1	0.269
0	0.500
1	0.731
2	0.881

表中的 logit 同样增加 1 个单位，概率的增量却随起点不同。原因在于逆链接是一条曲线，它在概率中部变化较快，在边界附近变化较慢，所以预测子上的相等差异不会对应固定的百分点差异。

在虚构随机实验中，对照成功率为 $p_C=0.20$，干预为 $p_T=0.35$。以组别 $T\in \{0,1\}$ 为唯一解释变量，可以写成

$$\mathrm{logit}(p)={\beta }_0+{\beta }_{T}T$$

两组概率给出 ${\hat{\beta }}_0=\log (0.2/0.8)\approx -1.3863$ 和 ${\hat{\beta }}_T=\log (0.35/0.65)-{\hat{\beta }}_0\approx 0.7673$。逆链接将 $T=0$ 与 $T=1$ 对应的预测子分别还原为 0.20 与 0.35。这个系数差位于 logit 尺度，其 OR 含义及似然估计见下一章。

分布与链接的模型假设

GLM 的条件分布通常以不同观测给定解释变量后独立为前提。聚类或重复测量的联合波动具有额外结构，需由相应模型或标准误表达。链接只连接均值与预测子，遗漏变量、非线性形式、分离和样本选择则分别影响所描述的条件关系与可获得的信息，不能由链接曲线本身解决。

二分类也可采用 probit 或 complementary log-log 链接，分别给出另一种概率曲线与参数尺度。科学机制及预测目标可以为链接选择提供依据。指数化系数之所以在 logit 模型中成为 OR，来自对数优势的定义；其他链接的系数则按各自变换解释。

条件关联估计与个体预测可以共享模型形式，但估计对象不同。条件关联取决于协变量角色、效应尺度和调整条件；新个体预测取决于目标人群的误差与校准。两种目标决定哪些模型性质具有解释价值，也决定评价资料怎样提供证据。

条件分布、均值与参数结构

结果的条件分布规定均值周围的波动，回归函数表达协变量与均值的关系，链接使这一关系适应结果的测量尺度。二元资料由此可以在概率范围内建模，同时保留共同参数描述不同个体的便利。

Bernoulli 的均值就是成功概率，logit 与其逆函数把概率和实数预测子联系起来。基于这一条件分布建立似然，便可以从观察结果估计系数，并解释系数与优势比的关系。数学背景见 参考教材与开放课程。

习题

1. 对二分类结果，为什么 $E(Y\mid x)=p(x)$？如果 $p=0.8$，方差是多少？
2. 模型写 $\log E(Y\mid x)={\beta }_0+{\beta }_{1}x$，是否等同于把每个 $Y$ 取对数再做最小二乘？
3. Logistic 模型中 $\eta =-1$，预测概率是多少？$\eta$ 增加到 0 是否意味着概率增加 1？
4. 三类渠道为何常只使用两个指示变量？如果把它们写成数字 $0,1,2$，额外假定了什么？

参考解答

1. 结果只有 0、1，按概率加权的平均就是 $0(1-p)+1p=p$。方差为 $0.8\times 0.2=0.16$，也说明不同概率对应不同方差。
2. 不等同。对数与期望通常不能交换；GLM 对条件均值链接，并对原始结果指定分布，取对数后最小二乘针对的是另一个对象。
3. $p=1/(1+e)\approx 0.269$；到 $\eta =0$ 时 $p=0.5$，增加约 0.231。logit 单位与概率单位不同。
4. 含截距时三个指示相加为 1，第三个冗余；两个指示相对于参考类别足以表达任意三个类别均值。数字编码则强加等间隔且线性的渠道效应。

上一篇：21 配对、分层与辛普森悖论 · 下一篇：23 二分类 Logistic 回归 · 课程总览

相关概念：概率与似然 · 风险优势与效应量。