aohanla的博客

梯度下降 在最低点的左边，w需要调大，最低点的右边，w需要调小 利用k，最低点斜率为0 得到代价函数曲线在w这个点上的斜率k 根据k正负调整w 如果每次调整的幅度确定，调整的速度很慢且可能在最低点反复横跳 希望：远离最低点下降速度快，越接近最低点下降速度越慢 令w=w-k，k离最低点越远绝对值越大，w下降的也就越快 同样的，使用学习率alpha控制下降的速度 编程实现 初始化 x, y = dataset.get_beans(100) plt.scatter(x, y) # 初始 w = 0.1

方差代价函数 引入 如何处理误差？ 如果是单纯的相减，算总体误差时有可能出现正负相消的情况 绝对差：误差的绝对值。不方便 平方误差：差值取平方即可 当x=a时 e=(y(a)-wa)^2，ae是关于w的一元二次函数 全局误差就是将每点的误差求平均，所以全局误差e也是w的一元二次函数。它描述了当w取不同值时误差的大小。 对于一组数据xi，yi： 称e为均方误差 所以我们要让机器自己寻找抛物线的最低点 正规方程 直接求最低点w=b/2a，带入公式化简得： 但如果数据量庞大，这种方式显然不合适 编程实现 获

通过简单的例子引入，用函数来准确的描述直觉。介绍了简单的一元一次函数感知器及其实现方法。