阿旭的博客

【小白深度学习入门】【3】卷积层中的Padding填充详解：作用、类型、优缺点

【小白深度学习入门】【2】池化层详解：工作原理、维度计算、池化类型

一文看懂卷积运算（convolution）与互相关运算（cross-correlation）的区别

深度学习入门（9）神经网络Affine与Softmax层的计算图表示方式及其误差反向传播的代码实现

深度学习入门（8）激活函数ReLU和 Sigmoid的计算图表示方式及代码实现

深度学习入门（7）误差反向传播计算方式及简单计算层的实现

深度学习入门（6）误差反向传播基础---计算图与链式法则

如何对神经网络模型训练结果进行评价上一篇文章《深度学习入门（4）【深度学习实战】无框架实现两层神经网络的搭建与训练过程》介绍了基于mnist的手写体数字集的两层神经网络的搭建与训练过程，通过损失函数的训练结果我们可以发现，随着训练的进行，损失函数逐渐减小，但是光这一点并不能很好的说明该神经网络的训练结果能够很好的对于其他数据也能够达到同样的精确度。这就涉及到神经网络的泛化能力问题。神经网络学习的最初目标是掌握泛化能力，因此，要评价神经网络的泛化能力，就必须使用不包含在训练数据中的数据。过拟合神经网络的

上一篇文章《深度学习入门（3）神经网络参数梯度的计算方式》主要介绍神经网络中的参数梯度是如何计算的。本文将直接使用之前公众号介绍过损失函数、激活函数以及梯度计算直接手动实现一个两层的神经网络训练过程。也许有人会说使用pytorch或者tensorflow框架，几行代码就可以搭建一个神经网络，为什么要自己手动去实现呢？我觉得使用现成框架确实很容易搭建一个神经网络，但是对于其中的计算原来如果不了解的话，那始终只会停在使用框架的基础上，如果能够自己亲手去了解其中的工作原理，手动去实现一下，也许能够对其有更深刻的

我们知道神经网络是由很多神经元组成的多层网络结构，我们的最终目标是找到各层合适的权重参数w使得最终的输出结果能够与实际结果更加接近。**那神经网络的这些权重参数是如何的得到的呢？**其实主要就是靠“损失函数”这个指标来进行一步步训练优化的。下面一起来了解一下神经网络的驱动核心—损失函数吧。神经网络的学习目标神经网络的“学习”是指从训练数据中自动获取最优权重参数的过程，即神经网络自我训练的过程。为了使神经网络能进行学习，将导入损失函数这一指标。通过使损失函数最小，来寻找最优权重参数。学习的目的就是以该损

文章目录前言一、数值微分1.导数2.偏导数3.梯度二、梯度法1.学习率2.神经网络的梯度计算总结前言上一篇文章介绍了神经网络需要达到的最终目标，即使所定义的损失函数值达到尽可能的小。那么，是如何达到使得损失函数的值最小的呢？其实，最常使用的核心大招就是“梯度法”进行参数的更新优化，最终达到使得损失函数最小的目的。本文将介绍神经网络中参数的梯度是如何计算的。在介绍梯度法之前先简单介绍一下所用到的数值微分方面的数学知识，以帮助理解后续梯度法的计算过程，如果知道这一部分知识的同学，可以直接跳过本文的第一节

感知机：设定权重的工作由人工来进行确定。神经网络：可以自动的从数据中学习到合适的权重参数。从感知机到神经网络0层：输入层1层：中间层（隐藏层）2层：输出层该网络由3层神经元构成，但只有2层神经元有权重，因此称其为“2层网络”。（有的也称3层）输入信号会被函数h(x)转换，转换后的值就是输出y激活函数h(x)函数会将输入信...

感知机感知机基础知识感知机是神经网络（深度学习）的起源算法。感知机可以接收多个输入信息，输出一个信号。感知机的信号只有“流/不流”（1/0）两种取值。接收两个信号的感知机，如下图：x1与x2是输入信号；y是输出信号；w1与w2是权重。圆圈O代表”神经元”或者”节点”。输入信号被送往神经元时，会被分别乘以固定的权重（w1 x1, w2 x2）。神经元会计算传送过来的信号总和，只...