qq_45802081的博客

循环神经网络的基本结构循环神经网络的基本结构特别简单，就是将网络的输出保存在一个记忆单元中，这个记忆单元和下一次的输入一起进入神经网络中。使用一个简单的两层网络作为示范，在它的基础上扩充为循环神经网络的结构，可以看到网络在输入的时候会联合记忆单元一起作为输入，网络不仅输出结果，还会将结果保存到记忆单元中。输入序列的顺序改变，会改变网络的输出结果，这是因为记忆单元的存在，使得两个序列在顺序改变之后记忆单元中的元素也改变了，所以会影响最终的输出结果。...

使用环境Python3.8Windowsanaconda3（64bit）新版本designer.exe不再出现在pyqt5-tools中。在D:\anaconda\Library\bin路径下

本文摘自一下文章，感谢作者分享：https://blog.youkuaiyun.com/zhaojc1995/article/details/80572098RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。

数据不足，可对已有数据进行变换，增强数据库。换句话说数据增强主要用来防止过拟合。常见的数据增强方法：1）随机旋转随机旋转一般情况下是对输入图像随机旋转[0,360)2）随机裁剪随机裁剪是对输入图像随机切割掉一部分3）色彩抖动色彩抖动指的是在颜色空间如RGB中，每个通道随机抖动一定的程度。在实际的使用中，该方法不常用，在很多场景下反而会使实验结果变差4）高斯噪声是指在图像中随机加入少量的噪声。该方法对防止过拟合比较有效，这会让神经网络不能拟合输入图像的所有特征5）水平翻转6）竖直翻转

学习链接：https://www.zhihu.com/question/53405779/answer/993913699AP：PR 曲线下面积（下面会说明） mAP：mean Average Precision, 即各类别 AP 的平均值举例：先规定两个公式，一个是 Precision，一个是 Recall，这两个公式同上面的一样，我们把它们扩展开来，用另外一种形式进行展示，其中 all detctions 代表所有预测框的数量， all ground truths 代表所有 GT 的数量。

一个n维张量，类似于numpy，但可以在GPU上运行搭建和训练神经网络时的自动微分/求导机制使用自动微分来自动计算神经网络中的后向传递。 PyTorch中的 autograd 包提供了这个功能。当使用autograd时，网络前向传播将定义一个计算图；图中的节点是tensor，边是函数。如果我们想计算某些的tensor的梯度，我们只需要在建立这个tensor时加入这么一句： requires_grad=True 。这个tensor上的任何PyTorch的操作都将构造一个计算图，从而允许我们稍后在图中执行

https://www.cnblogs.com/shine-lee/p/12363488.htmlhttps://blog.youkuaiyun.com/mao_feng/article/details/52734438Resnet要解决的是什么问题ResNets要解决的是深度神经网络的“退化”问题。什么是“退化”？我们知道，对浅层网络逐渐叠加layers，模型在训练集和测试集上的性能会变好，因为模型复杂度更高了，表达能力更强了，可以对潜在的映射关系拟合得更好。而“退化”指的是，给网络叠加更多的层后，性能却快

学习记录：https://zhuanlan.zhihu.com/p/41423739https://www.cnblogs.com/wangguchangqing/p/10338560.htmlhttps://zhuanlan.zhihu.com/p/42233779VGG是Oxford的Visual Geometry Group的组提出的。该网络是在ILSVRC 2014上的相关工作，主要工作是证明了增加网络的深度能够在一定程度上影响网络最终的性能。VGG有两种结构，分别是VGG16和VGG19，两

学习记录：https://zhuanlan.zhihu.com/p/27222043https://blog.youkuaiyun.com/qq_24695385/article/details/80368618https://www.cnblogs.com/wangguchangqing/p/10333370.htmlAlexNet是在LeNet的基础上加深了网络的结构，学习更丰富更高维的图像特征。AlexNet的特点：更深的网络结构使用层叠的卷积层，即卷积层+卷积层+池化层来提取图像的特征使用Drop

LeNet-5：是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络，当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一。LenNet-5共有7层（不包括输入层），每层都包含不同数量的训练参数，如下图所示。1、INPUT层-输入层首先是数据 INPUT 层，输入图像的尺寸统一归一化为32*32。注意：本层不算LeNet-5的网络结构，传统上，不将输入层视为网络层次结构之一。2、C1层-卷积层输入图片：32*32卷积核大小：5

学习链接：https://blog.youkuaiyun.com/program_developer/article/details/80737724https://www.cnblogs.com/makefile/p/dropout.html参数正则化方法 - DropoutDropout可以比较有效的缓解过拟合的发生，在一定程度上达到正则化的效果。什么是Dropout当一个复杂的前馈神经网络被训练在小的数据集时，容易造成过拟合。为了防止过拟合，可以通过阻止特征检测器的共同作用来提高神经网络的性能。Dro

学习链接：https://www.jianshu.com/p/9ab695d91459目的：为了获得性能良好的神经网络，网络定型过程中需要进行许多关于所用设置（超参数）的决策。超参数之一是定型周期（epoch）的数量：亦即应当完整遍历数据集多少次（一次为一个epoch）？如果epoch数量太少，网络有可能发生欠拟合（即对于定型数据的学习不够充分）；如果epoch数量太多，则有可能发生过拟合（即网络对定型数据中的“噪声”而非信号拟合）。早停法旨在解决epoch数量需要手动设置的问题。它也可以被视为一种

通常来说，当你处理图像，文本，语音或者视频数据时，你可以使用标准 python 包将数据加载成numpy 数组格式，然后将这个数组转换成 torch.*Tensor。对于图像，可以用 Pillow，OpenCV对于语音，可以用 scipy，librosa对于文本，可以直接用 Python 或 Cython 基础数据加载模块，或者用 NLTK 和 SpaCy。对于视觉，pytorch创建了totchvision的包。https://pytorch-cn.readthedocs.io/zh/lates

https://blog.youkuaiyun.com/Ever_glow/article/details/89086960https://ptorch.com/docs/3/可以使用torch.nn包构建神经网络。神经网络是基于自动梯度 (autograd)来定义一些模型。一个 nn.Module 包括层和一个方法 forward(input) 它会返回输出(output)。如下图这是一个简单的前馈神经网络，它接收输入，让输入一个接着一个的通过一些层，最后给出输出。一个典型的神经网络训练过程包括以下几

学习链接：https://blog.youkuaiyun.com/weixin_34062329/article/details/94677293Tensor是PyTorch实现多维数组计算和自动微分的关键数据结构。一方面，它类似于numpy的ndarray，用户可以对Tensor进行各种数学运算；另一方面，当设置.requires_grad = True之后，在其上进行的各种操作就会被记录下来，用于后续的梯度计算，其内部实现机制被成为动态计算图(dynamic computation graph)。autogra

动量动量法是梯度下降法的变式，在随机梯度下降的同时，增加动量。https://blog.youkuaiyun.com/weixin_40793406/article/details/84666803学习率衰减学习率 (learning rate)介绍学习率1https://blog.youkuaiyun.com/liulina603/article/details/80604385学习率 (learning rate)，控制 模型的 学习进度 ：lr 即 stride (步长) ，即反向传播算法中的 ηη ：ω

链式法则学习记录：学习记录链接学习记录MLP反向传播梯度推导很详细minma:f(3,2) = 0f(−2.805118,3.131312) = 0f(−3.779310,−3.283186) = 0f(3.584428,−1.848126) = 0可视化：import numpy as npimport matplotlib.pyplot as pltimport torchimport osos.environ['KMP_DUPLICATE_LIB_OK'] = 'T

学习记录：详细教程https://blog.youkuaiyun.com/weixin_45437022/article/details/114296537https://blog.youkuaiyun.com/vincent_duan/article/details/113931402https://www.jianshu.com/p/bdf1cc93b1e0https://www.jiqizhixin.com/graph/technologies/1697e627-30e7-48a6-b799-39e2338ffab5

学习记录：https://zhuanlan.zhihu.com/p/38525412梯度在数学中的含义：偏导如上图：(0,0)处偏导就是(0,0)，(1,1)处偏导就是(-2,2)梯度有大小有方向常见梯度

数据表示，张量张量是矩阵向任意维度的推广（注意，张量的维度（dimension）通常叫作轴（axis））。标量（0D 张量）仅包含一个数字的张量叫作标量（scalar，也叫标量张量、零维张量、0D 张量）。标量张量有 0 个轴（ ndim == 0 ）。张量轴的个数也叫作阶（rank）。下面是一个 Numpy 标量。向量（1D 张量）数字组成的数组叫作向量（vector）或一维张量（1D 张量）。一维张量只有一个轴。矩阵（2D 张量）向量组成的数组叫作矩阵（matrix）或二维张量（.

学习记录，链接：https://www.jianshu.com/p/f34457c222c5

卷积神经网络（Convolutional Neural Network，CNN）6.1 整体结构CNN的网络结构，了解CNN的大致框架。CNN和之前介绍的神经网络一样，可以像乐高积木一样通过组装层来构建。不过，CNN中新出现了卷积层（Convolution层）和池化层（Pooling层）。之前的神经网络，相邻层的所有神经元之间都有连接，这称为全连接（fully-connected）。如图所示，全连接的神经网络中，Affine层后面跟着激活函数ReLU层（或者Sigmoid层）。这里堆叠了4层“Aff

5.1 参数的更新**最优化（optimization）：**神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化（optimization）。为了找到最优参数，我们将参数的梯度（导数）作为了线索。**随机梯度下降法（stochastic gradient descent）：**使用参数的梯度，沿梯度方向更新参数，并重复这个步骤多次，从而逐渐靠近最优参数，这个过程称为随机梯度下降法（stochastic gradient descent），简称S

4、反向传播算法4.1计算图反向传播算法又称误差反向传播、BP算法( Backpropagation,缩写为BP）。BP算法的学习过程由正向传播过程和反向传播过程组成。在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层。如果在输出层得不到期望的输出值，则取输出与期望之间的差异作为损失值，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成。误差达到所期望值时，网络学习结束。前向传播：前向传播:输入层

sort 解读sort 论文解读1sort 论文解读2sort 代码解读1sort 代码解读2deep sort代码解析1deep sort代码解析2deep sort 论文解读1deep sort 论文解读2

论文下载下载链接论文学习1论文学习2

论文下载下载地址论文学习1论文学习2论文学习3

学习记录学习链接1学习链接2学习链接3

学习记录：评价指标介绍学习连接

学习记录：详细讲解教程：学习链接

4、反向传播算法反向传播算法又称误差反向传播、BP算法( Backpropagation,缩写为BP）。BP算法的学习过程由正向传播过程和反向传播过程组成。在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层。如果在输出层得不到期望的输出值，则取输出与期望之间的差异作为损失值，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成。误差达到所期望值时，网络学习结束。前向传播：前向传播:输入层数据开始从前向

MNIST手写数字数据库的训练集为60,000个示例，而测试集为10,000个示例。一共4个文件，训练集、训练集标签、测试集、测试集标签数据集下载链接MNIST的图像数据是28像素 × 28像素的灰度图像（1通道），各个像素的取值在0到255之间。每个图像数据都相应地标有“7” “2” “1”等标签。1、读入MNIST数据。从下载MNIST数据集到将这些数据转换成NumPy数组# coding: utf-8try: import urllib.requestexcept Impo

3、神经网络基础3.1感知机模型3.2多层感知机和神经网络3.2.1定义：多层感知机是在单层神经网络上引入一个或多个隐藏层，即输入层，隐藏层，输出层。3.2.2网络退化问题网络退化就是多层感知机会退化成单层激活函数可以防止退化。多层感知机的公式：　　隐藏层 H=XWh+bh输出层 O=HW0+b0=(XWh+bh)W0+b0=XWhW0+b0W0+b0其中XWhW0相当于W，b0W0+b0相当于b，即WX+b的形式，与单层的同为一次函数，因此重新成为了单层。3.2.3

人工神经网络：大量神经元以某种连接方式构成的数学模型，从属于机器学习模型。F(X)=y。主流（重点学习）：RNN（循环神经网络），CNN（卷积神经网络）。深度神经网络——深度学习深度学习本质是神经网络，其中“深”表示网络层数深，从传统的个位数加深到成百上千层。LeNet-5:5层，AlexNet：5+3=8层，VGG：16层，GoogleNet：22层，...