with-_-的博客

正向传播就是根据输入，经过权值、激活函数、隐藏层，最终获得输出； 反向传播就是根据输出，经过和期望值的比较，再经过各种算法、权值，最终来修改权值使输出和期望值的差距变到最小。

举一个非常简单的例子，如求函数    的最小值。 利用梯度下降的方法解题步骤如下： 1、求梯度，   2、向梯度相反的方向移动    ，如下   ，其中，    为步长。如果步长足够小，则可以保证每一次迭代都在减小，但可能导致收敛太慢，如果步长太大，则不能保证每一次迭代都减少，也不能保证收敛。 3、循环迭代步骤2，直到    的值变化到使得

直观上看，应该找正中间的超分平面，其“容忍”性最好。因为数据集的局限性和噪声的影响会出现图中的各种情况。将超平面记为：若分类正确则有距离超平面最近的几个样本点使等号成立被称为“支持向量”。...

# _*_ coding:utf-8 _*_ Q = [0, 0] X = [] Y = [] a =0.01 e = 0.000001 X = [1, 2, 3] Y = [1, 2, 3] while True: for i in range(0, 3): H = (Q[0] + Q[1] * X[i] - Y[i]) Q[0] -= a*H ...