机器学习笔记（四）——最大似然估计

一、最大似然估计的基本思想

最大似然估计的基本思想是：从样本中随机抽取n个样本，而模型的参数估计量使得抽取的这n个样本的观测值的概率最大。最大似然估计是一个统计方法，它用来求一个样本集的概率密度函数的参数。

二、似然估计

在讲最小二乘法的时候，我们的例子是奥运会男子100m金牌所需要的时间，通过最小二乘法，我们求得了我们的模型参数。但是我们的模型目前预测的只是一个特定的值。实际上，所有的模型都有误差，也就是噪声。所以，我们需要思考如何产生与我们观察到的数据相似的数据。定义新的模型如下：

$$t_n = \boldsymbol{\omega}^T\boldsymbol{x}_n+\varepsilon_n$$

假设误差$\varepsilon$是独立的、连续的、而且服从正态分布。即上式满足：

$$\varepsilon_n \sim N(0, \sigma^2)$$

给高斯随机变量添加一个常量等同于具有相同常量转换来的均值的另一个高斯随机变量：

y=a+zp(z)=N(m,s)p(y)=