07 常用离散分布

一次试验只有成功与失败两种结果。重复这样的试验，既可以观察固定次数内的成功总数，也可以一直等到首次成功，再记录等待次数。这两种记录方式产生不同的随机变量：前者的上界由试验次数决定，后者的取值则可以不断增加。不放回抽样又会改变每次成功的条件概率，使成功次数具有另一种分布。

离散模型以概率质量函数给这些可能取值分配概率。各个模型的差别来自试验次数、停止规则和条件概率的具体结构，而不是整数取值本身。单次二元试验是其中最简单的构造。

Bernoulli 分布

用一个指示变量记录目标事件是否发生，将一次试验的两种结果编码为：

$$X=\{\begin{array}{ll}1,& \text{成功},\\ 0,& \text{失败}.\end{array}$$

这里的“成功”指研究者事先定义的目标事件，疾病发生、违约、点击都可以编码为 1，因此这个名称没有好坏之分。若成功概率为 $p$，记作 $X\sim \mathrm{Bernoulli}(p)$，其中 $0\le p\le 1$。其概率质量函数是

$$P(X=x)=p^x(1-p{)}^{1-x},x\in \{0,1\}.$$

当变量取两个可能值时，这一公式分别成为 $P(X=1)=p$ 和 $P(X=0)=1-p$；端点参数也可由这两个概率定义，从而避开 $0^0$ 的记号问题。按期望与方差的定义，均值为 $p$，方差为 $p(1-p)$。虽然单次结果只有 0 和 1，大量结果的平均却可以位于二者之间，均值因而不必属于单次试验的支持集。

在虚构随机实验中，对照组 200 人里 40 人成功，样本成功率为 $40/200=0.20$。参数 $p$ 描述产生结果的总体概率，观察到的 0.20 则由这份样本决定；重新抽样时，样本比例会变化，即使真实概率恰为 0.20。这正是点估计中参数与估计值的区别。

二项分布

设 $X_1,\dots ,X_n$ 相互独立，每次均服从同一个 Bernoulli 分布。总成功次数

$$S=X_1+\cdots +X_n\sim \mathrm{Binomial}(n,p).$$

这里的试验次数 $n$ 事先固定，每次成功概率均为同一个 $p$。独立性使指定结果序列的概率能够写成各次概率的乘积，由此得到

$$P(S=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k},k=0,1,\dots ,n.$$

例如，指定“先成功两次再失败八次”的序列，其概率为 $p^2(1-p{)}^8$。但总数相同的成功还可以出现在其他位置；按照概率与组合数，共有 $\left(\genfrac{}{}{0ex}{}{10}{2}\right)=45$ 种位置组合。由于成功概率相同，每个序列的概率相同；不同序列对应互斥事件，将它们相加便得到组合因子。

假定真实 $p=0.20$，独立观察 10 人，恰好 2 人成功的概率为

$$P(S=2)=45(0.2{)}^2(0.8{)}^8\approx \mathrm{0.3020.}$$

至少 1 人成功包含 1 至 10 次成功，其补事件只有一种取值，即全部失败。因而可以将整个补事件的概率从总概率中减去：

$$P(S\ge 1)=1-P(S=0)=1-0.8^{10}\approx \mathrm{0.8926.}$$

独立指示变量的期望与方差分别相加，所以二项分布的均值为 $np$，方差为 $np(1-p)$。把成功次数除以 $n$，得到样本比例 $\hat{p}=S/n$；其方差缩小为 $p(1-p)/n$。比例的标准误由这一方差的平方根给出，比例的区间估计也以这种抽样波动为基础。

同一个人的多次记录、同一家庭成员或同一班学生可能共享影响结果的因素，使结果相互依赖。即使各次观测都是二元的，相关结果之和也一般不服从上述二项模型。另一种变化来自个体成功概率的差异：各个指示变量即使独立，只要概率不同，其和一般也不再是普通二项分布。分层与Logistic 回归可以进一步表达这种概率差异。

几何分布

同样一列独立试验，成功概率固定为 $p$，且 $0<p\le 1$。若试验在第一次成功时停止，试验次数便成为随机量。定义 $T$ 为“包含最后一次成功的总试验次数”，则

$$P(T=t)=(1-p{)}^{t-1}p,t=1,2,\dots$$

第 $t$ 次首次成功对应一个指定序列：前 $t-1$ 次全部失败，最后一次成功。将这些独立事件的概率相乘即得上式；成功位置已经指定，因此只有这一种序列，没有二项公式中的组合因子。该分布的均值为 $E(T)=1/p$，方差为 $\mathrm{Var}(T)=(1-p)/p^2$。

某些书和软件把几何随机变量定义为“成功之前的失败次数” $G=T-1$。此时支持集从 0 开始：

$$P(G=g)=(1-p{)}^{g}p,g=0,1,\dots ,E(G)=\frac{1-p}{p}.$$

两种定义描述同一次等待，但计数起点不同，随机变量相差 1。支持集与概率质量函数因此能够明确区分教材或软件采用的是总试验次数，还是失败次数。

例如 $p=0.25$，第 4 次才首次成功的概率为

$$P(T=4)=0.75^3\times 0.25=\mathrm{0.10546875.}$$

“前三次都没成功”是 $T>3$，概率为 $0.75^3=0.421875$。在条件事件具有正概率时，独立同概率的试验还具有无记忆性：

$$P(T>s+t\mid T>s)=P(T>t),s,t\in \{0,1,2,\dots \}.$$

前 $s$ 次失败以后，剩余试验仍独立且具有原来的成功概率，所以再等超过 $t$ 次的条件概率与刚开始时相同。累积疲劳、学习或老化若改变后续成功概率，就改变了这一步推理的前提，无记忆性也随之失效。

Poisson 分布

若 $N\sim \mathrm{Poisson}(\lambda )$，则

$$P(N=k)=e^{-\lambda }\frac{{\lambda }^k}{k!},k=0,1,2,\dots ,\lambda >0.$$

参数 $\lambda$ 是指定观察窗口中的期望事件数；均值和方差都等于 $\lambda$。若事件率为每分钟 $r$ 次，观察 $t$ 分钟，并采用恒定率的 Poisson 过程模型，则 $\lambda =rt$。率描述单位时间的发生强度，窗口内均值还随观察时长成比例变化，二者因而承担不同角色。

在恒定率 Poisson 过程中，互不重叠时间段的事件数独立；很短时间内发生一次事件的概率约与时间长度成正比，发生多次事件的概率则相对更小。这些条件表达了稳定且不成批的发生机制。高峰时段会改变事件率，成批到达会改变短时间内多事件的概率，传染扩散还可能造成事件之间的依赖。

例如某教学模型中每分钟平均 2 次到达，观察 1 分钟：

$$P(N=0)=e^{-2}\approx 0.1353,P(N=3)=e^{-2}\frac{2^3}{3!}\approx \mathrm{0.1804.}$$

观察窗口扩大为 3 分钟时，期望事件数也扩大为 $\lambda =6$；原来的 2 仍表示每分钟的平均发生次数。

在独立同概率的二项试验中，当 $n$ 很大、$p$ 很小且 $np$ 适中时，$\mathrm{Binomial}(n,p)$ 可以用 $\mathrm{Poisson}(np)$ 近似。这一关系建立在原来的二项结构上，稀有性并未消除独立同概率条件。另一方面，Poisson 模型具有均值等于方差的约束；实际计数的方差若远大于均值，个体异质性或相关性可能是差异来源，这也是计数回归所研究的问题。

超几何分布

一个总体共有 $N$ 个对象，其中 $K$ 个属于目标类别。随机不放回抽取 $n$ 个，记抽到的目标类别个数为 $H$，则

$$P(H=k)=\frac{\left(\genfrac{}{}{0ex}{}{K}{k}\right)\left(\genfrac{}{}{0ex}{}{N-K}{n-k}\right)}{\left(\genfrac{}{}{0ex}{}{N}{n}\right)}.$$

在简单随机抽样等使所有样本组合等可能的机制下，分母计数全部大小为 $n$ 的抽样组合；分子计数其中“从目标类别选 $k$ 个，再从其他类别选 $n-k$ 个”的组合。抽到的目标对象数既受目标总数限制，也受非目标对象总数限制，因而可取值为

$$\max (0,n-(N-K))\le k\le \min (n,K).$$

例如 10 张卡片中 3 张红色，随机不放回抽 4 张，恰好 2 张红色的概率是

$$P(H=2)=\frac{\left(\genfrac{}{}{0ex}{}{3}{2}\right)\left(\genfrac{}{}{0ex}{}{7}{2}\right)}{\left(\genfrac{}{}{0ex}{}{10}{4}\right)}=\frac{3\times 21}{210}=\mathrm{0.30.}$$

相同的抽取次数和初始红色比例若代入 $n=4,p=0.3$ 的二项分布，会得到 0.2646。这个数对应独立同概率抽取，而这里第一张的颜色会改变剩余卡片中红色的比例，继而改变第二张为红色的条件概率。不放回造成的依赖正是两种概率不同的原因。

当 $N>1$ 时，

$$E(H)=n\frac{K}{N},\mathrm{Var}(H)=n\frac{K}{N}\left(1-\frac{K}{N}\right)\frac{N-n}{N-1}.$$

最后的有限总体修正因子不超过 1。抽走大量总体时，不放回抽样中各次结果的依赖使成功总数比独立有放回抽样更集中。如果抽样比例 $n/N$ 很小，每次抽取对剩余比例的改变也较小，二项近似可能达到所需精度；这一近似的精确程度仍取决于具体总体与抽样量。Fisher 精确检验则直接利用超几何概率计算有限样本结果。

试验机制对分布的影响

Bernoulli 变量记录单次目标事件，固定 $n$ 次独立同概率试验的累加产生 Binomial 分布；若改为在首次成功时停止，取值记录的是等待次数，因而产生 Geometric 分布。不放回抽样改变后续条件概率，产生 Hypergeometric 分布；恒定率且满足独立增量等条件的窗口计数则对应 Poisson 模型。它们共享非负整数取值，却在停止规则、支持范围和依赖结构上有所不同。

离散模型向每个取值分配概率质量，事件概率由相应质量相加得到。等待时间等连续量则以区间概率描述，其局部集中程度由密度表示。上述离散模型的进一步推导见 参考教材与开放课程。

习题

1. 独立进行 5 次成功概率为 0.4 的试验，恰好成功 2 次的概率是多少？若“做到 2 次成功就停止”，还能使用这个计算吗？
2. 成功概率为 0.2。首次成功的总试验次数 $T$ 的均值是多少？成功前失败次数 $G$ 的均值是多少？$P(T>4)$ 是多少？
3. 20 个对象中有 5 个目标对象，不放回抽取 2 个。两者均为目标对象的概率是多少？和独立有放回抽样比较。
4. 一种模型假设每小时平均发生 3 次事件。观察 20 分钟时，Poisson 参数是什么？零事件概率是多少？

参考解答

1. 概率为 $\left(\genfrac{}{}{0ex}{}{5}{2}\right)(0.4{)}^2(0.6{)}^3=0.3456$。二项公式要求次数固定；做到 2 次成功才停止时，总次数本身随机，需要另外定义随机变量，不能把随机停止后的数据直接当成固定 5 次。
2. $E(T)=1/0.2=5$，$E(G)=5-1=4$；$P(T>4)=0.8^4=0.4096$，因为前四次必须全部失败。
3. 概率为 $(5/20)(4/19)=1/19\approx 0.05263$，也等于 $\left(\genfrac{}{}{0ex}{}{5}{2}\right)/\left(\genfrac{}{}{0ex}{}{20}{2}\right)$。有放回且独立时为 $(5/20{)}^2=0.0625$；第一次抽中后，不放回机制会降低下一次抽中的概率。
4. 20 分钟等于 $1/3$ 小时，所以 $\lambda =3\times (1/3)=1$，零事件概率为 $e^{-1}\approx 0.3679$。这要求事件率在该窗口可视为恒定，且 Poisson 建模条件合理。

上一篇：06 随机变量与分布函数 · 下一篇：08 连续分布与密度 · 课程总览

相关概念：概率质量密度与分布函数。