使用极大似然法对逻辑回归中的参数进行估计的数学原理

1.极大似然估计中采样产生的样本需要满足一个重要假设，所有采样的样本都是独立同分布的。
2.极大似然估计是在模型已定，参数未知的情况下，估计模型中的具体参数。
3.极大似然估计的核心是让产生所采样的样本出现的概率最大。即利用已知的样本结果信息，反推具有最大可能导致这些样本结果出现的模型的参数值。
既然事情已经发生了，为什么不让这个出现的结果的可能性最大呢？这也就是最大似然估计的核心。
求最大似然函数估计值的一般步骤：
（1）写出似然函数；似然函数值的大小意味着这组样本值出现的可能性的大小，是个概率值。
（2）对似然函数取$\ln$对数，并整理化简；对数函数是单调增函数，所以对数函数取最大值时，原函数也取得最大值。（对数函数$y=\log_a{x}$，当$a>1$时单调递增，当$0<a<1$时单调递减。）
（3）求导数，令导数为0，得到似然方程；
（4）解似然方程，得到的参数即为所求；

---

下面使用极大似然法对逻辑斯蒂回归中的参数进行估计：
1.假设当前的样本为 { (x1,y1=1),(x2