09 期望、方差与变换

随机变量与分布给出可能取值及其概率权重。按这些权重对取值求平均，便得到期望；按同样权重对偏离中心的平方求平均，便得到方差。二者分别概括中心和散布，仍保留着分布的概率意义，而非规定某次观测必然出现什么结果。

变量变换改变了参与加权的取值。线性变换对所有取值采用相同的平移与缩放，非线性变换则会以不同程度放大或压缩它们。这一差别决定了期望、方差如何变化，也使分布形状与可积性在计算中产生具体影响。

数学期望

在离散分布中，变量 $X$ 的取值 $x_{i}$ 对应概率 $p_{i}$ 。以概率作为权重，期望定义为

E (X) = i \sum x_{i} p_{i} .

在连续密度的情形，变量取值的局部权重由密度 $f$ 给出，求和相应地成为积分：

E (X) = \int_{- \infty}^{\infty} x f (x) d x .

有限期望的可积条件是 $E ∣ X ∣ < \infty$ ，即绝对值的加权和或积分有限。这样，正值部分与负值部分的绝对值各自具有有限期望，二者之差才得到确定的有限值。若正、负部分的期望均无限，二者之差成为 ∞−∞ 的未定形式，不能由对称性赋值为 0。某些重尾分布的均值因此不存在，极限定理的适用范围也受到这一条件限制。

例如 $X$ 表示某任务的完成个数，分布为：

$x$	0	1	2
$P (X = x)$	0.2	0.5	0.3

于是

E (X) = 0 \times 0.2 + 1 \times 0.5 + 2 \times 0.3 = 1.1.

一次完成的任务数不会是 1.1，很多次结果的平均却可以接近 1.1。期望是整个分布的加权中心，众数则是概率最大的取值；本例众数为 1，二者描述的是不同特征。偏斜分布中，均值还可能与中位数相差很大。由有限数据算出的平均作为统计量，也与这里由分布定义的期望有所区别。

随机变量变换的期望

变换将原来的每个取值替换为 $g (X)$ ，相应事件的概率权重保持原来的来源。因此，只要期望存在，便可直接按原分布加权，而不必先推导 $g (X)$ 的完整分布：

E [g (X)] = i \sum g (x_{i}) p_{i}

或

E [g (X)] = \int g (x) f (x) d x .

对上例，平方变换使每个取值的贡献变为其平方乘以原来的概率：

E (X^{2}) = 0^{2} \times 0.2 + 1^{2} \times 0.5 + 2^{2} \times 0.3 = 1.7.

相比之下， $[E (X)]^{2} = 1. 1^{2} = 1.21$ 。平方对较大取值赋予更强影响，而先取均值会将不同取值压成同一个中心；两种运算保留的信息不同，因此结果不相等。

同样， $E (1/ X)$ 一般不等于 $1/ E (X)$ ， $E (lo g X)$ 一般不等于 $lo g E (X)$ 。而且变换后的期望未必存在：若 $X \sim Uniform (0, 1)$ ， $E (X) = 1/2$ ，但

E (1/ X) = \int_{0}^{1} \frac{1}{x} d x = + \infty.

原分布在接近 0 的区间仍分配了概率，倒数变换却把这些值放大到任意大，累积贡献因而发散。这说明原变量期望有限，并未保证变换后的期望也有限；变换的定义域与增长速度共同决定了新的可积性。

期望的线性性质

只要相关期望有限，对于常数 $a, b$ ，

E (a X + b) = a E (X) + b .

更一般地，

E (i = 1 \sum n a_{i} X_{i}) = i = 1 \sum n a_{i} E (X_{i}) .

在线性组合中，求和或积分可分别作用于各项，每项只涉及对应变量的期望，变量之间是否独立不影响这一步运算。因此，即使一位学生的两门成绩有关联，总分的期望仍等于两门成绩期望之和。

例如一个人成功时得到 20 元额外奖励，每人另有 5 元基础奖励。设成功指示变量 $X \sim Bernoulli (0.2)$ ，奖励 $R = 5 + 20 X$ ，则

E (R) = 5 + 20 \times 0.2 = 9 元 .

直接按奖励结果加权，也得到 $5 \times 0.8 + 25 \times 0.2 = 9$ 元。线性性质只是将同一次加权运算展开成更方便的形式，因而两种方法给出相同结果。

乘积的加权涉及两个变量共同取值的概率。若 $X, Y$ 独立且绝对期望有限，联合概率能够分解，所以 $E (X Y) = E (X) E (Y)$ ；有依赖时则一般保留共同取值的影响。例如 $X$ 等概率取 $- 1, 1$ ，令 $Y = X$ ，则 $E (X) = E (Y) = 0$ ，但 $E (X Y) = E (X^{2}) = 1$ 。

方差与标准差

若 $E (X^{2}) < \infty$ ，方差定义为

Var (X) = E {[X - E (X)]^{2}} .

围绕均值的正负偏离若直接相加会相互抵消，平方则使两侧偏离都贡献非负值，并使较大的偏离获得更大权重。展开平方，令 $μ = E (X)$ ：

Var (X) = E (X^{2}) - 2 μ E (X) + μ^{2} = E (X^{2}) - [E (X)]^{2} .

用二阶矩与均值便能计算方差。上面的任务数例子得到

Var (X) = 1.7 - 1.21 = 0.49, SD (X) = 0.49 = 0.7.

标准差是方差的非负平方根。若 $X$ 以分钟计，平方偏离使方差的单位成为分钟平方，开平方后标准差又回到分钟，因此能在原变量的尺度上描述散布。平均绝对偏差采用绝对值而非平方作为权重，通常给出另一个数值。

对于常数 $a, b$ ，

Var (a X + b) = a^{2} Var (X), SD (a X + b) = ∣ a ∣ SD (X) .

加一个常数只是平移所有取值，不改变散布；乘 $a$ 会把偏离放大 $∣ a ∣$ 倍，平方偏离就放大 $a^{2}$ 倍。在奖励例中，

Var (R) = 2 0^{2} \times 0.2 \times 0.8 = 64 元^{2}, SD (R) = 8 元 .

这个奖励分布的期望为 9 元，标准差为 8 元，实际奖励却只有 5 或 25 元。“9±8 元”描述了围绕均值的一段尺度，并未给出奖励落在该区间内的概率；后者仍由原来的两点分布决定。中心和散布因而不能单独重建分布形状。

多个变量之和的方差需要处理共同波动：

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y) .

联合分布中的协方差记录两种偏离共同出现的贡献。独立且方差有限时，协方差为 0，两变量的方差便可相加。非独立变量也可能具有零协方差，所以独立性是方差可加的充分条件而非必要条件；其余情形中，共同波动由协方差项体现。

Jensen 不等式

Jensen 不等式概括了一类“先平均还是先变换”的比较。若 $g$ 在 $X$ 的取值区间上是凸函数，且有关期望存在，则

g [E (X)] \leq E [g (X)] .

凸函数的直观含义是：两个点之间的函数图形不高于连接它们的直线。平方函数是凸函数，因此

[E (X)]^{2} \leq E (X^{2}) .

平方函数下的两边差值就是方差，所以也能由方差非负得到这个方向。对于严格凸函数，在通常的有限期望条件下，等号只在 $X$ 几乎处处为同一个常数时成立；取值之间的波动通过凸变换增加了平均贡献。

$lo g x$ 在 $x > 0$ 上是凹函数，所以方向反过来：

E (lo g X) \leq lo g E (X) .

例如 $X$ 等概率取 1 和 4，则 $E (X) = 2.5$ ，而

E (lo g X) = \frac{1}{2} lo g 1 + \frac{1}{2} lo g 4 = lo g 2 < lo g 2.5.

这一方向解释了平均增长率、几何平均和算术平均之间可能存在的差别。对数只在正值上取有限实数， $lo g 0$ 没有这样的定义；正值条件以及相应的可积条件因此属于这一比较的前提。

变量变换后的分布

变换后的分布可以由事件在原数轴上的对应区域求出。设 $X \sim Uniform (0, 1)$ ， $Y = X^{2}$ 。由于原变量取正值，事件 $Y \leq y$ 对应原变量不超过 $y$ 。对 $0 < y < 1$ ，

P (Y \leq y) = P (X^{2} \leq y) = P (X \leq y) = y .

因此

f_{Y} (y) = \frac{1}{2 y}, 0 < y < 1.

平方把靠近 0 的区间压得更窄，原来的概率集中到短区间中，使新密度在靠近零处趋向无穷。密度虽然升高，整个积分仍为 1。期望则可按原分布对平方后的取值直接加权：

E (Y) = E (X^{2}) = \int_{0}^{1} x^{2} d x = \frac{1}{3},

也可以用新密度积分，两条路径结果一致。相比之下， $[E (X)]^{2} = 1/4$ 。

对于可微且严格单调的变换 $Y = g (X)$ ，在其有效取值范围内，通常有

f_{Y} (y) = f_{X} [g^{- 1} (y)] \frac{d}{d y} g^{- 1} (y) .

导数因子表示新数轴上一个小区间所对应的原区间长度，从而补偿变换造成的拉伸或压缩。若允许 $X$ 同时为正负时取平方，同一个变换值便可能对应多个原像；其概率来自各分支的共同贡献，密度因而由这些贡献相加得到，而非只取一个反函数分支。

Chebyshev 不等式

若均值为 $μ$ 、方差为 $σ^{2} < \infty$ ，Chebyshev 不等式给出

P (∣ X - μ ∣ \geq t) \leq \frac{σ ^{2}}{t ^{2}}, t > 0.

在事件 $∣ X - μ ∣ \geq t$ 上，平方偏离至少为 $t^{2}$ ，而全部平方偏离的平均为 $σ^{2}$ 。事件发生得越频繁，它对这个平均的贡献就越大，因而受到上式约束。这一上界不依赖分布形状，也通常较保守。标准差非零时，取 $t = 2 σ$ ，可得尾概率不超过 $1/4$ ；正态分布的约 4.55% 尾概率则来自特定密度的积分，两者的信息前提不同。

期望与方差以概率加权为共同基础，却对变换具有不同反应：线性组合的期望只涉及各变量的中心，方差还记录共同波动；非线性变换进一步使各取值的贡献依赖分布形状。可积性规定这些运算的有效范围，凸性和凹性则确定部分比较的方向。可积性与变量变换的推导见参考教材与开放课程。

习题

$X$ 以概率 0.7 取 0、以概率 0.3 取 1。计算 $E (X)$ 、 $Var (X)$ ，以及 $Y = 10 - 2 X$ 的均值、方差。
已知 $E (X) = 2, E (Y) = 5$ ，但 $X, Y$ 可能相关。能否计算 $E (3 X - Y)$ ？能否仅由这两个均值计算 $Var (X + Y)$ ？
$X$ 等概率取 1、3。比较 $E (X^{2})$ 与 $[E (X)]^{2}$ ，并解释差值。
$X \sim Uniform (0, 1)$ ， $Y = 2 X + 1$ 。写出 $Y$ 的支持区间、均值和密度。

参考解答

$E (X) = 0.3$ ，方差为 $0.3 (1 - 0.3) = 0.21$ 。 $E (Y) = 10 - 2 \times 0.3 = 9.4$ ，方差为 $(- 2)^{2} \times 0.21 = 0.84$ 。负号改变方向，平方后不改变方差的非负性。
可以，线性性给出 $E (3 X - Y) = 3 \times 2 - 5 = 1$ ，不需要独立。不能计算和的方差，因为还不知道各自方差及协方差。
$E (X) = 2$ ， $E (X^{2}) = (1 + 9) /2 = 5$ ，均值的平方为 4；差值 1 正是方差。先平方保留了原始取值的散布信息，先平均则将其压缩掉。
$1 < Y < 3$ ； $E (Y) = 2 (1/2) + 1 = 2$ 。原区间被拉长 2 倍，所以新密度为 $1/2$ ；用反函数 $(y - 1) /2$ 的导数也能得到同一结果。

上一篇：08 连续分布与密度 · 下一篇：10 联合分布与条件期望 · 课程总览

description	从概率加权平均推导期望与方差，理解线性性、非线性变换、Jensen 不等式和量纲。
tags	概率统计, 概率基础

LeoJellyfish

探索