机器学习（一）：极大似然估计

从这一篇开始，打算系统的回顾一下机器学习的内容，以应对面试。
由于两次面试都问到了逻辑回归，于是打算从逻辑回归开始。
作为逻辑回归的基础，先从极大似然估计开始吧。

点估计的方法

两种常用的方法：矩法，极大似然估计发。

矩法

总体：X
样本观测值：$（X_1, ...，X_n）$
样本原点矩：$A_j = \frac{1}{n} \sum_1^nX_i^j$

因此，可以使用样本的原点矩对于参数进行预估

极大似然估计

极大似然估计建立在这样一种直观想法的基础上：假定一个随机试验有若干个可能的结果$（X_1, ...，X_n）$。如果在一次试验后出现了结果$X_i$，那么一般认为实验条件对“出现