26 计数数据与 Poisson 回归

事件可以反复发生。把一段时间内的经历编码为“发生过”或“没有发生过”，会丢掉次数信息；保留计数，又必须考虑观察机会。一个月内发生 10 次就诊与一年内发生 10 次就诊，反映的发生率不同。

Poisson 分布提供了事件次数的一种概率模型。将其均值与协变量联系起来，就得到 广义线性模型中的 Poisson 回归。对数链接保证均值为正，暴露量把次数与发生率联系起来，均值与方差相等则规定了剩余随机波动的大小。负二项和零膨胀模型分别放松不同约束，所对应的生成机制也不同。

事件计数与二项计数

计数 $Y$ 取值于 $0,1,2,\dots$，如医院一天的急诊数、设备一个月的故障数或用户一周的购买次数。每个取值记录一段明确观察范围内的事件总数；观察范围改变，均值一般也随之改变。

如果有固定的 $n$ 次尝试，每次最多成功一次，成功总数受尝试次数限制，通常先考虑二项模型。例如 20 次独立质检中有 3 次不合格，分母是已知的质检次数。Poisson 模型描述的则是某段暴露范围内可不断发生的事件。稀有事件条件下，它可以近似二项分布，但已知的尝试次数仍决定原问题的概率结构。

计数的支持集和波动特征也解释了普通线性回归的困难：线性均值可能落到负数，固定方差又未必适合次数增加时变异也增大的情形。给计数加 1 后取对数，可以改变数值分布，却同时改变了估计目标，并引入对所加常数的依赖。回归形式因此需要与事件次数本身的概率机制相联系。

Poisson 回归的条件分布与链接函数

Poisson 分布的概率质量函数为

$$P(Y=y\mid x)=\frac{e^{-\mu (x)}\mu (x{)}^y}{y!},y=0,1,2,\dots$$

其条件均值和条件方差相等：

$$E(Y\mid x)=\mu (x),\mathrm{Var}(Y\mid x)=\mu (x).$$

回归使用对数链接：

$$\log {\mu }_i={\beta }_0+{\beta }_1{x}_{i1}+\cdots +{\beta }_p{x}_{ip}.$$

条件均值是线性预测项的指数，因此总为正。预测均值 2.4 次并不要求某次观察出现小数次数；它表示在相同条件下反复观察的平均水平。单次计数仍为非负整数，而其平均值可以连续变化。

当其他协变量固定，$x_j$ 增加一单位，线性预测项增加 ${\beta }_j$，所以均值乘以 $e^{{\beta }_j}$。这与普通线性回归中的加法变化不同。若年龄从“岁”改用“十岁”为单位，相同年龄差对应的系数表达也会变化；效应大小只有连同单位才有确定含义。

齐次 Poisson 过程通过恒定率、独立增量等条件，导出时间窗内的 Poisson 次数。但回归中的分布假设并不证明现实事件遵循整个过程模型。故障相互触发或购买成串出现，都可能产生额外波动。条件次数分布与不同观察之间的依赖，是两个需要分别讨论的层次。

暴露量与发生率模型

如果第 $i$ 个对象被观察的时间为 $T_i>0$，事件发生率为 $r_i$，则期望次数为 ${\mu }_i=T_i{r}_i$。取对数得到

$$\log {\mu }_i=\log T_i+{\beta }_0+{\mathbf{\beta }}^{\mathsf{T}}{x}_i.$$

由于次数均值等于暴露量乘以发生率，取对数后，$\log T_i$ 的系数自然固定为 1。这就是 offset 的来源。在发生率相同时，观察时间加倍，期望次数也加倍。人时、行驶公里数和设备运行小时都可作为暴露量，所得发生率分别具有对应单位。

例如，A 组在 100 人年的观察中发生 5 次事件，B 组在 200 人年中发生 20 次事件。次数比为 4，包含了 B 组观察机会更多的影响。两组发生率为 $5/100=0.05$ 和 $20/200=0.10$ 次/人年，所以相同暴露量下的发生率比为 2。

设 A 为基准、B 指示变量为 1，只有两个组别的 Poisson 发生率模型会得到 ${\beta }_0=\log 0.05$、${\beta }_B=\log 2$，配合各组 offset 得到期望次数 5 和 20。$e^{{\beta }_B}=2$ 比较的是相同暴露量下两组的发生率。这个聚合例子只演示点估计；若只剩两行且模型有两个参数，没有剩余自由度进行通常的离散程度诊断。

若将 $\log T$ 作为普通解释变量并估计其系数，模型描述的便是期望次数随时间的幂次变化。当事件生成机制不支持次数与观察时间成比例时，这种参数化可用于研究比例关系的偏离。它与系数固定为一的 offset 对应不同的均值假设。

offset 的解释依赖暴露量可靠、单位一致且为正。$T=0$ 表示没有观察机会，无法直接取对数；任意加入小数，会改变它所代表的机会。如果事件或潜在结果影响退出时间，次数与暴露量之间还包含选择过程，此时简单按暴露量调整未必足够。

条件过度离散及其诊断

Poisson 要求给定协变量后方差等于均值。若条件方差更大，就出现过度离散。未观测个体差异、遗漏的协变量、事件聚集、观察之间相关或不合适的零值机制，都可能造成这种偏离。

条件离散程度必须在给定协变量后评价。即使每个条件分布均满足 $\mathrm{Var}(Y\mid X)=E(Y\mid X)$，不同条件均值之间的差异仍会使边际方差大于边际均值。这可以由全方差公式说明：

$$\mathrm{Var}(Y)=E\{\mathrm{Var}(Y\mid X)\}+\mathrm{Var}\{E(Y\mid X)\}.$$

全方差公式中的第二项来自条件均值的差异，未必说明条件分布错误。纳入协变量后的剩余变异，常用 Pearson 统计量与剩余自由度的比值粗略衡量：

$$\hat{\varphi }=\frac{{\sum }_{i=1}^n(y_i-{\hat{\mu }}_i{)}^2/{\hat{\mu }}_i}{n-q},$$

其中 $q$ 是估计参数数目，包括截距，offset 的固定系数不计入。该量接近 1 时与 Poisson 方差结构相容；明显大于 1 时则表示残差波动偏大。不过，小样本、低均值或错误的均值形式也影响这个量，它不能单独指出偏离来自哪一种机制。

当均值模型合理、主要困难在方差约束时，合适的稳健标准误或 quasi-Poisson 可以改变不确定性的计算。它们处理的并非所有错设：错误均值、遗漏时间趋势与相关观察仍需相应模型。quasi-Poisson 没有完整概率似然，其 AIC 也不能与完整似然模型直接作通常的比较。

负二项回归与发生率异质性

常用 NB2 负二项模型保留 $\log {\mu }_i$ 的结构，并允许

$$\mathrm{Var}(Y_i\mid x_i)={\mu }_i+\alpha {\mu }_i^2,\alpha >0.$$

$\alpha$ 表示额外离散程度，当 $\alpha \to 0$ 时，方差结构趋向 Poisson。Poisson–Gamma 混合给出一种解释：每个对象在自己的潜在发生率下具有 Poisson 次数，但潜在发生率在对象间按 Gamma 分布变化。对这些率取平均后，个体异质性进入了边际次数分布的方差，形成均值平方项。

当 $\mu =2$、$\alpha =0.5$ 时，条件方差为 $2+0.5\times 4=4$，标准差为 2，而同均值 Poisson 的标准差为 $\sqrt{2}$，置信区间因而可能明显改变。NB1 则采用方差与均值成比例的结构。不同软件的负二项参数化不完全相同，离散参数的含义取决于所采用的定义。

负二项增加的是条件次数分布的离散程度。如果同一个人贡献多次记录，改变单次记录的方差仍不足以描述记录间相关。面板计数、医院群组与时间序列可能需要混合模型、GEE 或明确的依赖模型。

零值概率与混合生成机制

零值比例需要与条件分布所预测的零概率比较。当均值为 0.2 时，Poisson 下零值概率为 $e^{-0.2}\approx 0.819$，约 80% 的记录为零并不构成异常。零值是否超出模型预期，取决于各对象的条件均值，而不是一个适用于所有数据的零值比例界限。

零膨胀 Poisson 假设有两条生成路径：以概率 $\pi$ 进入始终为零的状态，以概率 $1-\pi$ 进入均值 $\lambda$ 的 Poisson 状态。因此

$$P(Y=0)=\pi +(1-\pi )e^{-\lambda },E(Y)=(1-\pi )\lambda .$$

总体均值同时依赖进入计数状态的概率与该状态下的次数均值。两部分若都有协变量，解释变量的变化就可能同时改变它们。因此，计数部分的指数化系数通常不能直接解释为总体均值的变化倍数；总体预测须由两部分共同求出。

hurdle 模型将“是否为正”与“正次数是多少”分开，后一部分使用零截断的计数分布。它把所有零都交给第一部分。零膨胀模型则允许计数状态也恰好产生零，两类模型因而对零值的来源作了不同解释。

没有资格购买的人与有资格但恰好没买的人，可以对应两种零值来源。相反，如果大量零仅来自未纳入的用户活跃度，改善均值模型也许更符合机制。零膨胀多出一个生成部分，也增加识别、收敛和解释的难度；零值比例高本身不足以确定这一结构。

习题

1. A、B 两组分别有 12、24 次事件，暴露时间分别是 60、240 人年。哪组的发生率更高？B/A 的发生率比是多少？
2. 拟合模型给出年龄系数 0.03，offset 是观察年数的对数。在其他变量固定时，年龄增加 10 岁，发生率如何变化？
3. 一个 Poisson 模型没有加入年龄，全样本方差是均值的 3 倍。能否立即断言条件 Poisson 分布不合适？
4. 90% 记录是零，为什么这仍不足以选择零膨胀模型？

参考解答与推理

1. A 的率是 $12/60=0.2$，B 的率是 $24/240=0.1$，A 更高，B/A 为 0.5。次数更多可能仅仅因为观察机会更多。
2. 年龄增加 10 岁使线性预测项增加 0.3，发生率乘以 $e^{0.3}\approx 1.35$。观察时间已通过 offset 纳入，这一解释比较相同暴露量。
3. 不能。遗漏年龄造成不同对象的均值差异，边际方差包含均值异质性。应先改善均值结构，再看条件残差、离散程度及数据依赖。
4. 当条件均值很小，单一 Poisson 就可能预测大量零；负二项异质性也会提高零概率。还需比较拟合后的零概率、正次数分布及机制证据，确认额外模型确实必要。

上一篇：25 多分类与有序 Logistic · 下一篇：27 缺失数据、混杂与因果识别 · 课程总览

相关概念：观测单位与独立性 · 概率与似然。