lijf2001的博客

在处理时序数据，已经有和两个比较经典的网络。当然还有一种LSTM神经网络，长短期记忆神经网络。从发展历史来看，是现有LSTM再有GRU的，但是从复杂度来看，LSTM比GRU更加复杂。先来回忆一下GRU，其有两个门（更新门和重置门），有一个记录历史信息的向量Ht​。而LSTM就更加复杂了，无论是在门的数量上还是记录历史信息的向量上。...

通过重置门与更新门，GRU神经网络能够更好地记录历史信息。

采用CNN神经网络中经典的resnet18模型，对Flowers数据集进行分类。运用了图像增广技术与微调技术，在5轮训练后正确率超过了90%，在经过15轮训练后，精度可以达到97%。

训练神经网络是一件非常耗费时间的事情，其需要大量的算力以及大量的数据。显然从头开始训练并不是明智之选，利用好已有的资源才是明智之选。

在神经网络的训练过程中，往往需要大量的图片，大量的数据，否则可能会造成过拟合与欠拟合。然而并非都能找到合适的数据，因为标注标签的成本太高了，因此非常有必要利用好手上现有的数据。...

作为图像处理中的一大核心工具，卷积已经应用在各个方面。但是卷积是如何而来的呢？从某种意义上来说，我们可以认为卷积是一种特殊的全连接，它就是从全连接层，根据某些图片的特点，演变而来的。因为全连接网络在处理图片上存在着很多问题。......

数值稳定性，这个说起来简单但真正碰到确实一个非常难的问题，而且它十分的重要。当神经网络在训练的过程中，碰到NAN和inf的时候，是最为恼火的，这严重地影响了训练。有的时候，模型不断训练但没有结果也可能是数值稳定性问题。...

回归是一种能更加多个变量之间的关系进行建模的一种方法，其在机器学习中有着官方运用。线性回归是其中最最最最简单的一种，其假设自变量与因变量之间是线性关系。利用pytorch就可以简单地写出线性回归的代码。...

回归是一种能更加多个变量之间的关系进行建模的一种方法，其在机器学习中有着官方运用。线性回归是其中最最最最简单的一种，其假设自变量与因变量之间是线性关系。利用pytorch就可以简单地写出线性回归的代码。...

jupyter notebook是一个非常好用的记事本，其不仅仅可以写代码，也可以写文字等，相比于纯代码，其更有容易读懂。而且jupyter notebook是一个网页，可以非常简单地打开。相比于服务器的命令行界面，它图形化操作更加容易被用户接收。通过远程连接，就可以轻松地访问服务器上面的jupyter notebook了。但是如果每次都需要先连接服务器启动notebook的话，也十分麻烦，因此我们需要将其设置为一个后台服务。这一点非常重要，也为了避免后面的操作频繁地输入。...

jupyter notebook是一个非常好用的记事本，其不仅仅可以写代码，也可以写文字等，相比于纯代码，其更有容易读懂。而且jupyter notebook是一个网页，可以非常简单地打开。相比于服务器的命令行界面，它图形化操作更加容易被用户接收。...

Numpy是一个python用来处理数学问题的包，全程是Numerical Python。其最重要的一点就是，提供了n维数组，弥补了list的不足。而且Numpy还有一个优势，就是快。它可以利用矩阵的计算优化，比用循环计算要快很多。.........

在这个“互联网+”时代，搭建一个普通的网站可以说是一个必备技能了。利用Github与Heroku配合，就可以简单地搭建出一个网站，更重要的是，这两个东西都是免费的。

Miniconda是一款小巧玲珑但是非常好用的软件，其大小只有不到百MB，对于服务器等是非常方便的。其安装过程非常简单，而且可以完全在终端内完成。

经过一段时间的学习，终于要迎来这个激动人心的时刻了，我们要开始写我们自己的神经网络了！不过在此之前还是先回顾一下之前所学到的知识。回顾与复习Python是一门比较简单的语言，本次实战就是用Python来写的，因此先要在电脑上安装好Python。我们从最简单的感知机开始，渐渐地推广到多层的感知机。在引入了激活函数后，实现了从感知机到神经网络质的飞跃。然后我们开始了解神经网络的结构，深入地了解输出层是如何设计的，在此基础上又理解了信息是如何在神经网络中正向传递的。最后，我们了解了一些微积分的知识，学会了

MNIST概述这个是一个公开的手写数字数据集，被用于各种各样的场合，从平时的练习到各种学术论文中，都能看到这个数据集的身影。内容这个数据集包含训练集和测试集两个部分。训练集这是由六万28×2828\times2828×28的照片组成的，每张照片都有一个标签，告诉我们这张照片上写的是什么数字。测试集这里面有一万张照片，照片大小与训练集一样，每张照片同样也有一个标签。这里的一万张照片中的每张照片与训练集不一样。下载下载链接：http://yann.lecun.com/exdb/mnist/

训练的目的在更新边权之前，必须先要清晰地知道我们的目的是什么。显然，我们想要神经网络的结果与正确的结果一模一样（虽然真不太现实，但是理想总是要有的）。如果用严格一点的数学语言来表达，就是想办法使得输出层的损失函数趋于0！修改边权的核心思想——随机梯度下降法先来观察一下输出层的损失函数与什么有关，最直接的就是与输出层结点的权值有关，再进一步输出层的权值又与连接隐藏层和输出层直接的边权、隐藏层结点的权值有关。接着往下寻找，不难看出来，输出层的损失函数是一个关于所有边权的多元函数，其涉及到元的个数是非常

计算出输出层结点的误差非常容易，但是其他结点的误差该如何计算呢？一种简单粗暴的方法直接将当前结点的误差平均分给每一个与它相连的结点。这样做简单粗暴，非常好实现，但是这样子做符合逻辑吗？很显然非也！考虑两个与它相邻的结点，其中一个结点的边权为100000100000100000，另一个结点的边权为0.00000010.00000010.0000001，这里的权值有些夸张，只是为了更加凸显出这种问题。如果将误差平均分给这两个结点的话，那么边权非常小的那个结点所被分配到的误差就太大了。因为它边权那么小

了解完神经网络的基本结构之后，就应该来看看信息是如何在神经网络中传递的。以简单的三层神经网络为例在这个简单的神经网络中，隐藏层只有一层。先看输入层与隐藏层，不妨假设输入层有nnn个结点，隐藏层有mmm个结点，这样结点之间就有n×mn\times mn×m条边了。利用图论中的邻接矩阵，将所有的边权记录下来。用wi,jw_{i,j}wi,j​表示从输入层的第iii号结点，到隐藏层的第jjj号结点的边权。用viv_ivi​表示输入层的第iii个结点的权值，uiu_iui​表示隐藏层第iii个结点的

概述感知机(perceptron)是美国人在1957年提出来的一个算法，是神经网络的起源算法。它能接受多个信号（输入），输入一个信号。对于感知机而言，信号只有两种0或者1。通过设置合理的权重与偏置，感知机就可以达到我们想要的目的。一个简单的例子有输入源x1,x2,x3x_1,x_2,x_3x1​,x2​,x3​，其对于的权重是w1,w2,w3w_1,w_2,w_3w1​,w2​,w3​，感知机的偏置为bbb，其中x1,x2,x3x_1,x_2,x_3x1​,x2​,x3​为0或者1。则当x1×

安装方法非常推荐使用Anaconda安装，一次安装，全部搞定。这里基本上集成了大部分常用的库，非常方便。推荐安装python3。安装包下载官网直接去其官网，找到个人版，下载自己电脑系统对应的版本即可。下载链接国内镜像网站官网的下载速度非常慢，只有几十k。国内有不少大学都提供了其的镜像网站，推荐北京外国语大学。通过图片就可以看到，这个速度简直是天壤之别。安装安装Anaconda对于个人用户来说，建议选择Just me。选择安装目录，注意需要自己先建文件夹。对于第一个，建