djsxut的专栏

感知器 (perceptron)神经网络中一种模拟神经元(neuron)的结构，有输入(input)、输出(output)、权重(weight)、前馈运算(feed forward)、激活函数(activation function)等部分。单层感知器能模拟逻辑与、逻辑或、逻辑非和逻辑与非等操作，但不能实现逻辑异或！ 激活函数可以表示为:其中 x 作为输入, w 是对应输入 x...

梯度下降算法: - 监督学习 损失函数的导数称为梯度，若对损失函数的参数求偏导，则这个偏导数代表着损失函数在该参数下各点的斜率；目标就是让损失能尽可能的小，希望取到损失函数的最小值，可以通过梯度函数得到损失函数上各点的斜率，然后逐步更新参数从而满足要求的这种方法就是梯度下降！对于L2损失，参数对应的梯度函数如下：若参数上某一点对应梯度为正值(上图红点)，此时应该减小，即...