MrBlackmzq的博客

如图所示，先随便选一个初始的值，先计算一下 w 对 L 的微分和 b 对 L 的微分，接下来更新 w 跟 b，更新的方向就是 ∂L/∂w乘以 η 再乘以一个负号，算出这个微分的值，就可以决定 w 要怎么更新，b同理，把 w 跟 b 更新的方向结合起来，就是一个向量，在图上显示为红色的箭头，以此类推，一直移动，期待最后可以找出一组不错的 w, b。这里指的“找一个函数”，指的是找一个能够描述一个场景数学规律的函数模型，具体方法大致是：让机器运行算法，通过输入的数据，确定合适的函数参数，逼近实际场景。

图 2.4(a)横轴指的是训练的过程，就是参数更新的过程，随着参数的更新，损失会越来越低，但是结果20 层的损失比较低，56 层的损失还比较高。再跑 1 层、2 层跟4层之后显示，所有的模型的结果都不好，2层跟 3 层的错误率都是 2 千多，其实4层跟1层比较好，都是 1800 左右，但是这四个模型不约而同的觉得 2 月 26 日应该是个低点，但实际上 2 月 26 日是一个峰值，模型其实会觉得它是一个低点，也不能怪它，因为根据过去的 数据，周五晚上大家都出去玩了。，让模型不要有过大的灵活性。

之前是 L(w, b)，因为 w 跟 b 是未知的。现在未知的参数很多了，再把它一个一个列出来太累了，所以直接用 θ 来统设所有的参数，所以损失函数就变成 L(θ)。损失函数能够判断 θ 的好坏，其计算方法跟刚才只有两个参数的时候是一样的。先给定 θ 的值，即某一组 W, b, cT, b 的值，再把一种特征 x 代进去，得到估测出来的 y，再计算一下跟真实的标签之间的误差 e。把所有的误差通通加起来，就得到损失。