两次投掷的正面次数,或一个人的等待时间,都是从观察结果中提取的数值。不同结果可能给出同一个数:先正后反与先反后正,都记为一次正面。把结果映射到数值时,原有的概率随映射汇集,形成数轴上的分布。随机变量就是这个对应规则,分布则说明规则所给数值的概率构成。

事件与概率规则 规定如何汇集结果,独立性与条件概率 则给出不同观察之间的关系。借助这些关系,离散取值可以分别承载概率质量,连续范围中的概率可以由密度面积表达;累积分布把两种表达统一为“数值不超过某个阈值”的概率。

随机变量及其映射

随机变量 是样本空间上的实值函数。每一个基本结果 由这一规则对应到一个数 。有限模型可直接列出全部对应关系;更一般的模型还要求这一映射与事件的概率定义相容,使关于数值的事件也具有概率。

两次独立公平硬币投掷有 HH、HT、TH、TT 四个等可能结果。取 为正面次数,相应映射为

HT 与 TH 这两条路径虽然具有不同顺序,在所研究的计数上却相同。事件 因而包括两条路径,它的概率是两者的概率之和。映射保留了正面数量,舍去了出现次序。

大写 表示随机变量,小写 表示可能值或一次观察值。观察到 后,这次结果已经确定;描述试验机制的随机变量仍包含其他可能结果。随机性属于结果产生的过程与观察前的不确定性,观察值则是这个过程的一次实现。

渠道标签也可以映射为 1、2、3,从而为事件“”计算概率。这种编码保留了类别身份,却未规定类别之间的数量距离。因此类别均值可随任意代码改变,数值映射与测量尺度具有不同含义。

概率质量函数

离散随机变量的取值为有限个或可数无限个,例如访问次数 。每个取值所承载的概率由概率质量函数 PMF 表示,定义为

质量函数把概率直接放在取值点上。非负性给出 ,而全部取值划分了所有可能结果,所以总质量为 1,即 。区间中的概率便是落入该区间的点质量之和。

两次硬币例子的分布表为:

:正面次数对应结果
0TT
1HT、TH
2HH

这份分布的支持,即概率实际所在的取值范围,为 。其余值的概率为 0;例如 ,因为正面计数没有这个取值。事件 包含两个互斥的点,因而 。支持与质量函数一起确定了概率求和的范围。

“发生一次”是最有可能的取值,其质量为 ,仍小于必然事件的概率 1。频数图中的最高柱同样只是指出最常见取值,而非一个必定出现的结果。

累积分布函数

点概率给出局部质量,累积分布函数 CDF 则把一个阈值左侧的全部概率汇集起来,定义为

阈值 决定累计到哪里,函数输出包含该阈值以及左侧全部取值的概率。定义中的“小于等于”使阈值上的质量也进入累积;在离散取值点,这一项决定了函数采用跳跃后的值。

硬币例子的 CDF 为

在 中,事件 仅包含 0 与 1。阈值从 1 向 2 移动,在到达 2 以前不会纳入新的概率质量,因而函数值保持不变。到了跳跃点, 而非 ,因为此时 已包含在累计事件内。

阈值提高时,累计事件只能增加结果,所以 CDF 不下降;它的值是概率,位于 。阈值走向负无穷时,纳入的结果趋于空,概率趋于 0;走向正无穷时,纳入全部结果,概率趋于 1。CDF 还具有右连续性:在跳跃点,它取的是已经包含该点质量的值,与从右侧趋近时相同。

离散分布的累计过程于是呈阶梯状。用 表示从左侧趋近 时的累积值,它尚未包含该点质量,而在点上的函数值已经包含。两者之差恢复该点概率:

本例在 1 处由 上升至 ,差值为 ,正是 。累计函数的跳跃与质量函数的点值,因而是同一概率的两种表示。

分布函数与区间概率

对任何随机变量与 ,

累计事件 由不重叠的 与 组成。后一事件的概率因而等于整个累计概率减去左侧部分,这给出区间概率的差分关系。

硬币计数中,,减法去掉了 0 点及其左侧质量。闭合左端时,,0 点质量随之保留;一般表达为 ,即减去尚未包含左端点的累计值。

相同的端点关系给出右尾:,而 。前者排除阈值点,后者包含它。纯连续分布中单点没有质量,两种表达通常相同;离散分布在支持点则可能有不同值。

二项分布的概率质量与累计概率

图示为 、 的二项分布。左图 PMF 的每根柱表示相应取值的点概率;右图 CDF 把这些概率从左向右累加,各阶梯的跳跃高度对应左图同一取值的概率质量。

连续分布的概率密度

对于具有概率密度函数 PDF 的连续分布,区间概率由密度曲线下的面积给出:

密度非负,整条曲线下的总面积为 1。把区间分成许多窄条,每条的高度与宽度之积近似相应的局部概率;条宽趋于零时,累积面积由积分表达。与点质量不同,密度给出的是局部概率随宽度累积的尺度。

设等待时间 在 0 到 0.5 小时间均匀分布,即支持范围内等长的时间段有相同概率。这是一种理想化等待模型。总面积为一且高度处处相等,便给出密度

它的支持为 ,整个范围外没有概率。支持中的点也未必有正的点概率;对于这里的连续模型,任意小的邻域可以包含正概率,单点却仍可具有零概率。因此连续支持描述的是概率分布所在的区域,而不是一组具有正质量的点。

高度为 2、宽度为半小时的矩形,总面积为 。等待在 0.1 至 0.2 小时的概率为相应矩形面积 。密度虽然超过 1,区间面积仍符合概率范围;密度与概率的区别正在于它还要与区间宽度共同确定概率。

单点事件 与密度值 是不同对象。单点没有宽度,其曲线下面积为零;若取 附近一段很窄的区间,而且密度在其中近似稳定,区间概率才近似为密度乘区间宽度。

密度的单位与横轴单位互为倒数。本例按小时记录,密度是每小时的量;令 改为分钟,支持变为 0–30 分钟,高度则为 每分钟。原来的相应事件变为 6–12 分钟,概率仍是 。横轴放大、纵轴缩小而面积不变,使同一事件的概率保持一致。

连续模型中的一次观察最终落在某个数值上,尽管任意事先指定的精确点都具有零概率。离散计数不取 1.5,与连续支持中某点为零概率,理由因而不同。现实测量具有精度,“读数恰为 12 分钟”往往已经将一个舍入区间归为相同读数,与无限精确的点事件有所区别。

连续分布与密度 中的不同曲线形状,正是不同区间概率构成的表达;积分将这些局部形状与概率联系起来。

分布函数与密度的关系

均匀等待时间的 CDF 为

把 12 分钟及以前的区间面积汇成 40% 的概率,并不描述恰好 12 分钟的点概率。在该范围内,CDF 随阈值线性上升,PDF 保持水平;累计面积随宽度增加,局部密度则保持相同。

在足够规则的连续位置,CDF 的局部变化率为密度,反向将密度积分便得到 CDF。离散累计以求和汇集点质量,具有密度的连续累计以积分汇集区间面积。两种运算不同,所描述的都是阈值及其左侧的同一个累计事件。

离散与连续成分的混合分布

再设等待时间 中,30% 的人无需等待,即 ,其余 70% 在 0–10 分钟间均匀等待。零点具有单独的点概率质量,正时间上又有连续概率,这构成离散与连续成分的混合分布。

它的 CDF 在 0 处跳到 0.30,之后逐渐上升:

在 0 处的 30% 概率表现为跳跃,正时间的连续概率表现为随阈值逐渐上升。普通密度的区间面积无法单独放入这个点质量,有限个点的 PMF 又无法给出连续部分。CDF 则同时描述两种成分。离散、具有密度的连续与混合分布涵盖了这里讨论的常见模型,概率理论中还存在其他分布类型。

经验分布与分位数

概率分布表达生成机制,频数则表达一次样本的实现。硬币模型给定 ,重复十次时却可能出现不同次数的一次正面结果,未必恰好五次。固定的模型概率与变化的样本构成,正是总体描述与样本描述的区别。

对于观测 ,经验 CDF 在阈值 处取“不超过 的观测数除以 ”。它把这批数据的累计构成画成阶梯,各跳跃来自实际观测,而非已知的生成概率。以这条曲线估计机制中的分布,仍以抽样方式和观测依赖为推断基础。

分位数则反向问:“累计概率达到指定比例时,阈值在哪里?”对 ,常用定义为

这一定义取累计概率达到至少 的最左阈值。硬币次数的 50% 分位数为 1,因为在 0 处累计为 ,在 1 处已达 。跳跃直接越过 50%,所以离散分位数不必满足 。有限样本中还存在不同插值规则,其差异属于样本分位数的定义方式。

习题

  1. 对两次独立公平硬币的正面次数 ,求 、、。
  2. 对 0–0.5 小时的均匀等待时间,求等待不超过 0.1 小时的概率;解释 为什么不是概率。
  3. 已知 、。求 、 与 。
  4. 在 30% 无需等待、其余均匀等待 0–10 分钟的模型中,求恰好不等待、等待超过 5 分钟的概率。能否称其为纯连续分布?

习题解答

  1. 。;。两项相同是因为这个模型最大值为 2,而不是所有变量都如此。
  2. 概率为矩形面积 。2 的单位是每小时的密度,只有乘时间宽度才给出无单位的概率;精确点 的概率仍为 0。
  3. 2 点的概率为跳跃高度 。严格大于 2 的概率为 ;大于等于 2 的概率为 。两种尾概率相差 2 点的质量。
  4. 不等待概率为 0.30。超过 5 分钟的概率为 ,也等于 。它在 0 点有正概率,因此不是纯连续分布,而是离散点质量与连续部分的混合。

上一篇:05 条件概率独立与贝叶斯 · 下一篇:07 常用离散分布 · 返回课程导航

相关概念:概率质量密度与分布函数。