写逻辑回归的文章不少建议看以下两个,先看理论然后实操,发现问题了来这找找有没有解答。
https://blog.youkuaiyun.com/han_xiaoyang/article/details/49123419 学理论
https://blog.youkuaiyun.com/kt513226724/article/details/79956850 实操
实际学习过程中,问题很多。
**问题一:**梯度下降法为什么能找到最小值
上图为一个二次函数和这个函数上的一个点(4,16)处的斜率
根据梯度下降,我们迭代这个式子 w = w - Alpha * d
设Alpha为0.2
d是x^2的导数即2x 得到下式
即第一次: w = 4 - 0.2 * 2 * 4 = 2.4 循环十次
2.4
1.44
0.864
0.5184
0.31104
0.18662399999999998
0.11197439999999999
0.06718463999999999
0.04031078399999999
0.024186470399999993
不难发现不断接近最小值0
数