10 联合分布与条件期望

两个随机变量各自的分布给出其取值概率，却未必决定这些取值怎样共同出现。例如，两类人群的比例与总体成功比例都已知时，成功者仍可能主要集中在某一类，也可能均匀分布于两类。共同配置的不同，正是变量关联的来源。

联合分布记录共同取值的概率。将另一变量的所有可能值合并，得到边缘分布；把目光限制在给定取值内，并重新计算该范围中的概率，得到条件分布。二者从同一个联合结构出发，分别描述总体构成与条件关系。

联合分布与边缘分布

设 $X,Y$ 是两个离散变量，联合概率质量函数定义为

$$p_{XY}(x,y)=P(X=x,Y=y).$$

每个概率非负，全部组合的概率之和为 1。考虑以下虚构分布：$X$ 表示两类人群，$Y$ 表示是否成功。

$X\backslash Y$	$Y=0$	$Y=1$	$P(X=x)$
$X=0$	0.40	0.10	0.50
$X=1$	0.30	0.20	0.50
$P(Y=y)$	0.70	0.30	1

左上角的 0.40 以整个总体为概率范围，表示其中“属于第 0 类且没有成功”的比例；第 0 类内部的失败率则以该组为范围。对 $X$ 而言，无论是否成功，只要属于同一类就构成同一个事件，所以边缘概率由所有 $Y$ 值对应的概率相加得到：

$$p_X(x)=\sum _y{p}_{XY}(x,y).$$

同理 $p_Y(y)={\sum }_x{p}_{XY}(x,y)$。名字“边缘”来自表格边缘的行列合计。两种人群各占一半，总体成功概率为 0.30。

一半人属于第 1 类、30% 的人成功，并未规定成功者主要来自哪一类。边缘化保留了行列合计，却省略格子内部的配置；不同配置可以具有相同合计，所以两个边缘分布一般无法还原联合分布。

条件分布与独立性

根据条件概率的定义，在 $p_X(x)>0$ 的范围内，联合概率除以条件范围的概率得到

$$P(Y=y\mid X=x)=\frac{p_{XY}(x,y)}{p_X(x)}.$$

上表中，

$$P(Y=1\mid X=0)=\frac{0.10}{0.50}=0.20,P(Y=1\mid X=1)=\frac{0.20}{0.50}=\mathrm{0.40.}$$

分子是该人群中同时满足结果条件的概率，分母是该人群的全部概率。相除以后，条件范围成为新的总体，成功与失败概率重新合计为 1；例如第 0 类内两者分别为 0.20 和 0.80。

独立意味着任何正概率条件下，$Y$ 的分布不因 $X$ 而改变，等价于

$$p_{XY}(x,y)=p_X(x)p_Y(y)$$

对所有组合成立。本例第 1 类成功率为 0.40，总体成功率为 0.30，条件化改变了结果分布，因而不独立。同一个差异也表现为联合概率 $P(X=1,Y=1)=0.20$ 与边缘乘积 $0.50\times 0.30=0.15$ 不相等。

这种二元结构在列联表中直接呈现，也构成回归建模描述条件成功率的基础。其中 $P(Y=1\mid X=1)$ 表示观察到 $X=1$ 的人群内成功概率。若渠道或治疗由个体自行选择，它还可能与其他影响结果的条件共同变化；于是该人群内的概率并未单独确定“把任意人改成 $X=1$ 后的成功概率”。从条件关联得到干预解释，还涉及研究设计及混杂与因果识别中的额外假设。

连续变量的条件密度

对具有联合密度的连续变量，

$$P((X,Y)\in A)={\iint }_A{f}_{XY}(x,y)dxdy.$$

边缘密度通过积分得到：

$$f_X(x)=\int f_{XY}(x,y)dy.$$

当 $f_X(x)>0$ 时，可以定义条件密度

$$f_{Y\mid X}(y\mid x)=\frac{f_{XY}(x,y)}{f_X(x)}.$$

连续单点事件的 $P(X=x)$ 为 0，所以离散条件概率的事件比值在这里没有定义。密度比值保留了给定位置附近的相对集中程度；在适当正则条件下，它可以理解为条件区间越来越窄时得到的局部分布。

例如联合密度在三角形 $0<x<y<1$ 内为 2，其余为 0。三角形面积为 $1/2$，所以总概率为 $2\times 1/2=1$。固定 $x$ 后，允许的 $y$ 从 $x$ 到 1：

$$f_X(x)={\int }_x^{1}2dy=2(1-x),0<x<1.$$

因此

$$f_{Y\mid X}(y\mid x)=\frac{1}{1-x},x<y<1.$$

给定 $X=x$，$Y$ 在 $(x,1)$ 上均匀分布，条件均值为 $(x+1)/2$。固定横坐标后的竖直截面从该横坐标延伸到上边界，积分范围因而由三角形支持区域决定；若将截面上的常数密度误扩展到整个 0 到 1，就会给支持区域之外分配概率。

协方差与相关系数

期望与方差分别描述中心与偏离程度。两个变量的偏离相乘后求平均，还能记录它们同向或反向变化的贡献。若二阶矩有限，协方差定义为

$$\mathrm{Cov}(X,Y)=E\{[X-E(X)][Y-E(Y)]\}=E(XY)-E(X)E(Y).$$

两种偏离位于各自均值同侧时，乘积为正，位于反侧时则为负；协方差是这些乘积按联合概率加权的结果。它的单位为两者单位的乘积，因此同一种关系在更换测量单位后可以具有不同的协方差数值。

当两个方差均正且有限时，相关系数为

$${\rho }_{XY}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}}.$$

标准差消去了协方差的单位，使相关系数成为 $[-1,1]$ 内的无量纲数。绝对值为 1 对应几乎处处成立的完全线性关系。任一个变量是常数时，分母为 0，相关系数没有定义；将它记作 0 会混淆“没有可比较的波动”与“线性共同变化为零”。

对联合表例子，$E(X)=0.5$，$E(Y)=0.3$。只有 $X=Y=1$ 时乘积为 1，所以 $E(XY)=0.20$。于是

$$\mathrm{Cov}(X,Y)=0.20-0.5\times 0.3=\mathrm{0.05.}$$

又因为它们均为二元变量，方差分别是 $0.25$ 和 $0.21$，所以

$${\rho }_{XY}=\frac{0.05}{\sqrt{0.25\times 0.21}}\approx \mathrm{0.2182.}$$

这里两个条件成功率描述各组内的结果，相关系数则将共同变化压缩为一个线性尺度上的数。两种描述来自同一联合表，保留的信息和解释对象各有不同；因果含义仍由上述研究设计条件决定。

不相关与独立的区别

独立且二阶矩有限时，$E(XY)=E(X)E(Y)$，所以协方差为 0。反方向却涉及不同的信息：协方差只计算一个乘积的平均，而独立性要求所有联合概率都能分解。一个平均为零，仍允许非线性依赖存在。

可以通过一个非线性关系说明这一差别：$X$ 等概率取 $-1,0,1$，令 $Y=X^2$。则

$$E(X)=0,E(Y)=2/3,E(XY)=E(X^3)=0.$$

正负两侧在乘积平均中抵消，协方差和相关系数都为 0；平方关系却使已知 $X$ 后的 $Y$ 完全确定。当 $X=0$ 时，$P(Y=0\mid X=0)=1$，而边缘概率 $P(Y=0)=1/3$，条件分布与边缘分布不同，因此两者不独立。

散点图能够呈现这种非线性关系，单一相关系数却只保留线性共同变化。联合二元正态分布具有特殊的结构，零相关在这个分布族中能推出独立；上述平方例子说明，一般变量并不具有同样的反推关系。

条件期望与全期望公式

条件期望是在条件分布里求平均。离散情形为

$$E(Y\mid X=x)=\sum _{y}yP(Y=y\mid X=x).$$

右边随给定值 $x$ 改变，可以写成函数 $m(x)$。当条件值由随机变量 $X$ 取到时，这个函数也随之取不同数值，因而 $E(Y\mid X)=m(X)$ 本身是随机变量。固定条件值对应一个条件均值，随机条件值则对应一组具有概率权重的条件均值。

对二元 $Y$，条件期望恰好就是条件成功概率。本例 $m(0)=0.2,m(1)=0.4$。全期望公式是

$$E(Y)=E[E(Y\mid X)].$$

每个条件均值概括对应组内的结果，而该组在总体中的占比给出它的权重。因此，

$$E(Y)=0.5\times 0.2+0.5\times 0.4=\mathrm{0.3.}$$

这里两组占比恰好相同，加权结果与简单平均相同；一般情况下，组占比不同会改变总体均值，即使每组的条件均值保持不变。分层与辛普森悖论中的总体比例变化，就包含这种权重与组内结果共同作用的结构。

全方差公式

当 $E(Y^2)<\infty$ 时，

$$\mathrm{Var}(Y)=E[\mathrm{Var}(Y\mid X)]+\mathrm{Var}[E(Y\mid X)].$$

个体结果既可能偏离所属组的均值，所属组的均值又可能偏离总体均值。两种偏离相加成为总体偏离：

$$Y-E(Y)=\{Y-m(X)\}+\{m(X)-E(Y)\}$$

平方并取平均后，第一种偏离贡献平均组内方差，第二种偏离贡献条件均值的组间方差。交叉项为 0，因为给定 $X$ 后，$E[Y-m(X)\mid X]=0$，组内偏离与该条件下固定的组间偏离相乘，其条件平均仍为零。

本例第 0 类内方差为 $0.2\times 0.8=0.16$，第 1 类为 $0.4\times 0.6=0.24$，所以平均组内方差为 0.20。条件均值 0.2、0.4 各以一半概率出现，围绕总体均值 0.3 的方差为

$$0.5(0.2-0.3{)}^2+0.5(0.4-0.3{)}^2=\mathrm{0.01.}$$

两者之和为 $0.20+0.01=0.21$，与总体 Bernoulli 方差 $0.3\times 0.7$ 一致。组内结果的随机性贡献了前一部分，两个条件均值的差别又贡献了后一部分；总体变异由二者共同组成。

条件均值与条件方差由联合分布确定，再按条件的概率权重汇集为总体特征。协方差同样来自共同取值的概率，因此也决定多个观测之和的波动。全期望与全方差的扩展推导见 参考教材与开放课程。

习题

1. 上表中 $P(X=1\mid Y=1)$ 为多少？为何它不等于 $P(Y=1\mid X=1)$？
2. 两组分别占 80% 和 20%，条件成功率分别为 0.1 和 0.5。总体成功率是多少？可以直接取 0.3 吗？
3. 对 $X$ 等概率取 $-1,0,1$、$Y=X^2$ 的反例，计算 $\mathrm{Var}(Y)$；给定 $X$ 后的条件方差又是多少？
4. 联合密度在 $0<x<y<1$ 内为 2。给定 $X=0.2$，$P(Y>0.6\mid X=0.2)$ 为多少？

参考解答

1. $P(X=1\mid Y=1)=0.20/0.30=2/3$。它问的是“成功者中第 1 类占多少”，分母是所有成功者；$P(Y=1\mid X=1)=0.4$ 问的是“第 1 类中多少人成功”，分母不同。
2. 全期望给出 $0.8\times 0.1+0.2\times 0.5=0.18$。0.3 是对两组赋予相等权重得到的数，不能代表此处实际总体。
3. $Y$ 以概率 $2/3$ 取 1，以概率 $1/3$ 取 0，所以方差为 $(2/3)(1/3)=2/9$。给定 $X$ 后，$Y$ 完全确定，条件方差为 0；全方差的全部贡献来自 $\mathrm{Var}[E(Y\mid X)]$。
4. 条件分布是 $(0.2,1)$ 上的均匀分布，因此概率为 $(1-0.6)/(1-0.2)=0.5$。先确定条件支持，再比较区间长度。

上一篇：09 期望方差与变换 · 下一篇：11 大数定律与中心极限定理 · 课程总览

相关概念：观测单位与独立性。