【逻辑回归笔记】牛顿法

• 【问题描述】上节课内容是逻辑回归，计算$θ$有更好的方法，比如牛顿法，它比梯度上升算法快很多。
• 【方法】
  -
  求找到一个$θ$，使得$f(θ)=0$.
  $$f'(θ^{(0)})=\frac{f(θ^{(0)})}{\Delta}$$
  $$\Delta=\frac{f(θ^{(0)})}{f'(θ^{(0)})}$$
  $$θ^{(1)}=θ^{(0)}-\Delta=θ^{(0)}-\frac{f(θ^{(0)})}{f'(θ^{(0)})}$$
  SO,
  $$θ^{(t+1)}=θ^{(t)}-\Delta=θ^{(t)}-\frac{f(θ^{(t)})}{f'(θ^{(t)})}$$
  那么，这和逻辑回归中$ℓ(θ)$最大有什么关系吗？
  明显的，当$若ℓ(θ)to max,则ℓ'(θ)=0$,这样就回到了牛顿法中，上式就变为
  $$θ^{(t+1)}=θ^{(t)}-\Delta=θ^{(t)}-\frac{ℓ'(θ^{(t)})}{ℓ''(θ^{(t)})}$$
  牛顿法收敛很快，即“二次收敛”，误差平方位收敛。
  $$0.01 \space error—>0.001\space error$$
  这样的结果会在足够近时体现。
  但是，现在还有两个问题：
  极大极小问题$θ^{(t+1)}$会出现怎样的变化呢？
  
  可以动手计算一下，求值公式是一模一样的。
  机器学习来源是Learn Machine By Andrew Ng From Stanford