机器学习之参数估计

1.参数估计：矩估计

样本统计量

设X1,X2…Xn…X1,X2…Xn…

• k阶样本中心矩 (k=2时即方差)
  Mk=1n∑i=1n(Xi−X¯¯¯¯)kMk=1n∑i=1n(Xi−X¯)k

---

1.1矩估计

那么随机变量的矩和样本的矩，有什么关系？
换个提法：假设总体服从某参数为θθ？

---

假设样本是独立的
- 可以通过X1,X2…Xn…X1,X2…Xn…

这个就是矩估计.

• 我们设总体的均值为μμ

---

2.极大似然估计

贝叶斯公式带来的思考

给定某些样本DD

maxP(Ai|D)=maxP(D|Ai)P(Ai)P(D)maxP(Ai|D)=maxP(D|Ai)P(Ai)P(D)

---

• 贝叶斯公式P(Ai|D)P(Ai|D)表示给定样本下，算分布的参数，看哪一组参数取得的概率最大。我们就认为哪一组参数是最有可能的。

通过上式，我们发现它近似等于，在给定参数下，哪一组参数能使样本数据最有可能的发生。颠倒了因果。我们把估计这个参数使得概率的方法称为极大似然估计。

极大似然估计公式表达

• 设总体分布为f(x,θ)f(x,θ)，称之为极大似然估计

极大似然估计的具体实践操作

在实践中，为了求导方便，往往将似然函数取对数，若对数似然函数可导，可令导数等于0，解方程组得到驻点，分析是否是极大值点。

logL(θ1,θ2,...θk)=∑i=1nlogf(x1;θ1,θ2,...θn)logL(θ1,θ2,...θk)=∑i=1nlogf(x1;θ1,θ2,...θn)

求偏导，解方程组。

应用：高斯分布的极大似然估计

• 若给定一组样本X1,X2…XnX1,X2…Xn。

按照MLE的过程分析：

• 高斯分布的概率密度函数：
  f(x)=12π−−√σe−(x−μ)22σ2f(x)=12πσe−(x−μ)22σ2
  值带入，得到：
  L(x)=∏i=1n12π−−√σe−(x−μ