概率模型与似然可以来自同一个数学表达式,区别在于哪些对象固定、哪些对象被比较。在二项模型中,参数 固定时, 给出成功次数等于 的概率;改变可能的计数,便是在描述数据的分布。观察到 后,把同一表达式看作候选参数 的函数,得到似然 ,此时比较的是不同参数对同一份数据的相对支持。

固定数据后的参数比较

二项似然 同时包含成功与失败的信息。提高成功概率会增加成功结果的模型概率,却会减少失败结果的模型概率;最大似然估计在两者之间取得平衡,最大值位于 。成功出现的顺序在独立同概率模型中不改变这一比较,而成功与失败的总数决定似然的形状。边界样本和最大值的具体推导见 估计与似然。

概率模型对数据取值求和或积分时,总量为 1。似然在参数空间上没有这种要求,因为它所比较的是固定数据与不同参数的相容程度。贝叶斯后验还需结合先验并归一化,才能赋予参数相应的概率解释。将似然直接解释成参数的后验概率,会交换原来固定与变化的对象。

对于具有密度的连续模型,似然由已观察数值处的密度构成。该点的概率为零,却不能据此认定所有参数提供同样的支持;不同参数仍可给出不同的密度高度。这里使用的是 概率与密度 的区别。

从共同概率到回归概率

简单二项模型用共同的成功概率描述全部试验。Logistic 回归允许不同对象的成功概率随协变量变化,再以个体 Bernoulli 似然的乘积估计系数。这个乘积依赖相应的条件独立假设;若观测配对或聚类,联合模型也需反映这些关系。

两种模型的复杂程度不同,参数估计的原理却相同:由数据分布构造似然,再在参数空间比较。GLM 用分布与链接函数组织这一扩展,Logistic 则给出二元结局的具体形式。

返回 概念索引。