斯坦福大学机器学习作业题Problem Set #2 Logistic Regression: Training stability--下篇

这题主要是训练调参数的技能。其实做模型也是不断调参换模型的过程。

(i)使用不同的学习速率

尝试了一下从1到24的迭代次数

随着学习速率的不断增加，迭代次数变小，但是当迭代次数大于28的时候，又不收敛了。所以在收敛的情况下，学习速率越大，收敛速度越快。

(ii)随着迭代次数的增加，降低学习速率

先是使用了e.g中的内容，让学习速率为1/迭代次数，a的收敛速度变很慢，又没法收敛了。

又尝试了将初始学习速率调为100/迭代次数，依旧不收敛……

(iii)给损益方程增加一个正则化

本题中本身使用的权益方程如下

增加正则化后