基础概念--似然、似然函数

1. 似然

在统计学和概率论中，似然（likelihood）是指在给定观测数据条件下，关于模型参数的概率分布。换句话说，似然度量了在已知观测数据的情况下，对于模型参数的可能性。似然的计算可以帮助我们评估模型参数的合理性，并用于参数估计、假设检验等统计推断中。

似然满足两个条件：

1. 对于某个未知参数的分布（分布的形式必须是事先假设已知的，而分布的参数未知。比如假设服从正态分布，伯努利分布）
2. 和来自这个分布，独立同分布采样的一堆样本（必须要有数据）

基于以上两个必须，似然可以定义为：针对待估计的分布参数，使用一堆已知的观测样本去反推某个参数估计值作为这个分布参数的可能性。

概率和似然刚好是分布的两个方面，样本是分布所表现出来的现象（结果），分布参数是分布内在的本质（原因）。

假设$\theta$是分布参数，$X$是样本。

$P(X\mid \theta )$：已知分布的形式和参数，在当前的参数组合下，得到结果$X$的可能性。原因$\to$结果。比如，抛硬币是一个已知参数的伯努利分布，我们可以根据这些参数计算得到下一次出现正面的概率。

$P(\theta \mid X)$：已知分布的形式和观测样本，度量某个未知分布参数的可能性。结果$\to$原因。比如，我们通过多次试验积累了抛硬币的观测样本数据，现在已知抛硬币服从伯努利分布，但是其分布参数未知。通过似然就可以得到在当前观测样本结果和分布假设的前提下，各个分布参数出现的概率，找到一个能够使得这种概率最大的，我们就可以将分布参数估计出来了。

所以极大似然估计就是在当前假设的分布下，根据已知的观测样本，求解一组最有可能的模型参数，使得模型在当前的参数组合下得到最大的可能性。

2. 似然函数

似然函数（likelihood function）是给定观测数据的条件下，关于模型参数的函数。具体地说，似然函数是关于模型参数的概率密度函数或概率质量函数在给定观测数据下的取值。通常用$L(\theta \mid x)$或者$L(\theta ;x)$表示，其中$\theta$表示模型参数，$x$表示观测数据。似然函数的表达形式取决于所使用的概率分布模型和具体的参数估计方法。

似然函数在参数估计中扮演了重要的角色。常见的参数估计方法包括最大似然估计（Maximum Likelihood Estimation，MLE），其思想是寻找能够使似然函数取得最大值的模型参数值。通过最大化似然函数，我们可以获得对模型参数的估计值，使得模型对观测数据的拟合最好。

总之，似然是在给定观测数据的条件下，关于模型参数的概率分布；而似然函数则是描述了在已知观测数据的情况下，模型参数的可能性分布。

参考：

• 何谓 likelihood 似然 - 知乎 (zhihu.com)

• chatGPT