houyiming

​CNN与之前的神将网络不同的是，CNN中新出现了卷积层（Convolution层）和池化层（Pooling层）。​之前介绍的神经网络中，相邻层的所有神经元之间都有连接，这称为全连接（fully-connected）。另外，我们用Affine层实现了全连接层。如下图所示。​CNN的结构如下​CNN中新增了Convolution层和Pooling层。CNN的层的连接顺序是“Convolution-ReLU-（Pooling）”（Pooling层有时会被省略）...

​在前几章中，为了找到最优参数，我们将参数的梯度（导数）作为了线索。使用参数的梯度，沿梯度方向更新参数，并重复这个步骤多次，从而逐渐靠近最优参数，这个过程称为，简称。

​反向传播法在神经网络中是用于计算权重参数针对于损失函数的梯度的方法，该方法比数值微分法求梯度更加的高校。

​我们可以把一个普通的神经网络当成一个能够你和任意函数的黑盒，只要训练的数据足够多，给定特定的x，我们就可得到希望的y。结构如下​该模型可以用于处理单独的一个一个的输入。但是，当我们处理序列信息时，即前面的输入跟后面的输入是有关系的，普通的神经网络模型就无法实现了。​以nlp中的一个词性标注任务来看将“我爱学习”这句话进行词性标注时，学习这个词既可以当名词也可以当动词，单独标注的话很难确定。...

​ 这里所说的“学习”是指从训练数据中 自动获取最优权重参数的过程。为了使神经网络能进行学习，将导 入损失函数这一指标。而学习的目的就是以该损失函数为基准，找出能使它的值达到最小的权重参数。​ 如图所示，神经网络直接学习图像本身。在第2个方法，即利用特征量和机器学习的方法中，特征量仍是由人工设计的，而在神经网络中，连 图像中包含的重要特征量也都是由机器来学习的。​ 损失函数是表示神经网络性能的“恶劣程度”的指标，即当前的 神经网络对监督数据在多大程度上不拟合，在多大程度上不一致。这个损失函数可以使用任

​ 感知机对于复杂的处理，理论上是可以将其表示出来的，但是确定其合适的权重，还是需要人工干预。该工作往往是复杂且庞大的，神经网络的出现就是为了解决这个问题的。具体地讲，神经网络的一 个重要性质是它可以自动地从数据中学习到合适的权重参数。y=h(b+w1x1+w2x2)y = h(b+w_1x_1+w_2x_2)y=h(b+w1​x1​+w2​x2​)h(x)={0(x≤0)1(x>0)h(x) = \begin{cases} 0&\text(x\leq0) \\ 1&\text(x>

感知机接收多个输入信号，输出一个信号。3、导入权重和偏置​ 将2.1公式中的 θ 换成−b得到如下的公式来表示感知机，b称为偏置(偏置是调 整神经元被激活的容易程度（输出信号为1的程度）的参数)，w1和w2称为权重。​ 使用权重和偏置实现与门4、感知机的局限性与多重感知机​ 感知机虽然可以实现与门、或门、非门三种逻辑电路哦，但是无法直接表示异或门。要表示异或门，需要引入多层感知机(叠加了多 层的感知机也称为多层感知机)。感知机通过叠加层可以进行非线性表示。​ 异或门的代码实现5、小结...