杭爱山的博客

感知器和S型神经元简介 1.1感知器 感知器是如何⼯作的呢？⼀个感知器接受⼏个⼆进制输⼊，x1, x2, …，并产⽣⼀个⼆进制输出： ⽰例中的感知器有三个输⼊，x1, x2, x3。通常可以有更多或更少输⼊。Rosenblatt 提议⼀个简单的规则来计算输出。他引⼊权重，w1, w2, …，表⽰相应输⼊对于输出重要性的实数。神经元的输出，0 或者 1，则由分配权重后的总和 ∑j wjx...

简介 在上一章，我们看到了使用梯度下降算法来学习他们自身的权重和偏置。但是我们并没有讨论如何计算代价函数的梯度。本章我们来解释一下计算这些梯度的快速算法，也就是反向传播 （backpropagation）。 反向传播的核心是一个对代价函数C关于任何权重w（或者偏置b）的偏导数∂C/∂w的表达式。这个表达式告诉我们在改变权重和偏置时，代价函数变化的快慢。尽管表达式会有点复杂，不过⾥⾯也包含⼀...