机器学习数学基础（2）--最大似然函数

声明：本文章是根据网上资料，加上自己整理和理解而成，仅为记录自己学习的点点滴滴。可能有错误，欢迎大家指正。

---

在机器学习和统计学领域中，似然函数（Likelihood Function）是一个至关重要的概念。它不仅是参数估计的基础，而且在模型选择、模型评估以及众多先进的算法和技术中都有着广泛的应用。

1. 似然VS概率

概率和似然是统计学中两个不同的概念，它们在概念上和应用上都有所区别。以下是通过一个具体例子来展示这两者之间的区别：

1.1  概率（Probability）

定义：概率是在给定的参数下，某个事件发生的可能性。它是未来事件发生的度量，通常用介于0和1之间的数值表示。

例子：假设我们有一个标准的六面骰子，每个面上有1到6的数字。当我们掷骰子时，得到数字6的概率是：𝑃(数字=6)=1/6

在这个例子中，参数是骰子的面数（6面），事件是掷出数字6，概率是已知的，并且是在掷骰子之前就确定的。这里的关键是，概率是在给定参数（骰子的公平性，即所有面出现概率相同）的情况下，事件发生的可能性。

1.2  似然（Likelihood）

定义：似然是在已知观测数据的情况下，这些数据对于不同参数值的支持程度。它不是数据发生的概率，而是在给定数据时参数值的相对合理性。

现在，假设我们不确定骰子是否公平，我们通过掷骰子20次，观察到数字6出现了5次。我们想要估计掷出数字6的真实概率 𝜃：

• 似然函数 表示为 𝐿(𝜃∣5次6)，是 𝜃 的函数，表示在参数 𝜃下观测数据（5次6）的相对可能性。似然函数是： 𝐿(𝜃∣5次6)=。
• 对𝜃的求解，可用最大似然方法，具体可看后面，这时求出的𝜃的值不一定是1/6。

对比上面的例子：

• 概率函数 给出了在给定参数下事件发生的可能性。在我们的例子中，它告诉我们在假设骰子公平的情况下，掷出6的概率是 1/6​。

• 似然函数 用于在已知观测数据的情况下，评估不同参数值的合理性。在我们的例子中，它帮助我们根据观测到的5次6来估计 𝜃 的值。

1.3 两者区别：

• 概率是已知参数下事件的度量：在概率中，参数是已知的，我们计算的是某个事件发生的可能性。
• 似然是已知数据下参数的度量：在似然中，数据是已知的，我们评估的是不同参数值对数据的支持程度。
• 概率是绝对的：概率给出了在给定参数下事件发生的确切概率。
• 似然是相对的：似然比较了在已知数据下，不同参数值的相对合理性。

总结来说，概率关注的是在给定参数下事件发生的可能性，而似然关注的是在给定数据下参数值的合理性。这两者在统计分析中扮演着不同的角色。

2. 概率函数VS似然函数

2.1 概率函数（Probability Function, PF）

• 定义：概率函数是描述随机变量取各种可能值的概率。

  • 对于离散随机变量，它是一个定义在所有可能结果上的函数；

  • 对于连续随机变量，它是一个概率密度函数。

• 用途：概率函数用于计算在给定参数下，随机变量取特定值或处于某个区间的概率。