一一

深度学习被戏称为“炼金师”，我们需要凭借经验对一些参数进行调试，其中在学习过程中梯度和学习率是比较重要的参数。下面我们首先介绍几种梯度下降法，然后再说明批处理大小与学习率之间的关系。GD（Gradient Descent）在整个训练集中计算当前的梯度，选定一个步长进行更新。GD的优点是，基于整个数据集得到的梯度，梯度估计相对较准，更新过程更准确。GD的缺点，一个是当训练集较大时，G...

目录参考文献：1.多分类任务中的softmax1.1关于多分类1.2 如何多分类1.3 代价函数1.4 使用场景1.5 为什么使用softmax进行归一化2 .激活函数概念：2.1.什么是激活函数？2.2. 为什么要使用激活函数？2.3. 常用的激活函数有哪些？2.3.1 sigmoid函数2.3.3 ReLu函数2.3.4 激活函数的选...

自动编码器：自动编码器最开始是作为一种数据压缩方法，同时还可以在卷积网络中进行逐层预训练，但是随后更多结构复杂的网络，比如 resnet 的出现使得我们能够训练任意深度的网络，自动编码器就不再使用在这个方面，随着生成对抗模型而出现的，使用自动编码器生成数据。自动编码器的一般结构如下由上面的图片，我们能够看到，第一部分是编码器(encoder)，第二部分是解码器(decoder)，编...

1.概念1.1 什么是迁移学习？深度学习算法应用过程中，数据规模大，训练时间长是我们遇到到一大问题，那么在搭建好深度神经网络模型后，我们还需要大量的算力和时间训练和参数的优化，使得性价比非常低。我们就考虑同类问题的模型迁移，这样提高模型的性价比。考虑刀片没有免费午餐原理，我们尽可能的提高模型的泛化能力以及鲁棒性。需要注意的是，我们在使用迁移学习的过程中有事会导致迁移模型的负迁移，我们可以理...

目录1、概念1.1、前提2、评价指标（性能度量）2.1、分类评价指标2.1.1 值指标-Accuracy、Precision、Recall、F值2.1.2 相关曲线-P-R曲线、ROC曲线及AUC值2.2、回归评价指标2.2.1 可释方差得分2.2.2 平均绝对误差 MAE （Mean absolute error）2.2.3 均方差 MS...

目录1.摘要2.GAN原理介绍2.1 网络概况2.1.1 Discriminator Network2.1.2 Generator Network2.2 数学理解3.代码实现1.摘要前面学习的自动编码器和变分自动编码器都是通过计算生成图像和输入图像在每个像素点的误差来生成 loss，这样就会造成，因为不同的像素点可能造成不同的视觉结果，但是可能他们的 loss...

数据的读取是我们进行工作的第一步，在我们拿到各种各样的数据时，首先要知道数据的格式以及label，对应的种类，数量，下面就先介绍常用数据的读取方式。从数据角度分两种，一是ndarray格式的纯数值数据的读写，二是对象(数据结构)如dict的文件存取。导入将要使用的函数包import cv2from torchvision.datasets import ImageFolderimpo...

目录语义分割综述摘要语义分割领域研究现状灰度分割条件随机场深度学习方法数据集与评价指标常用数据集评价指标模型介绍语义分割综述摘要语义分割（全像素语义分割）作为经典的计算机视觉问题（图像分类，物体识别检测，语义分割）。其涉及将一些原始数据（例如：平面图像）作为输入并将它们转换为具有突出显示的感兴趣区域的掩膜，其中图像中的每个像素根据其所属的对象被分...

自适应池化（AdaptiveAvgPool1d）：对输入信号，提供1维的自适应平均池化操作 对于任何输入大小的输入，可以将输出尺寸指定为H*W，但是输入和输出特征的数目不会变化。torch.nn.AdaptiveAvgPool1d(output_size)#output_size:输出尺寸对输入信号，提供1维的自适应平均池化操作 对于任何输入大小的输入，可以将输出尺寸指定为H...

在学习语义分割过程中，最后的逐像素分类网络中，对像素进行分类时使用了one-hot编码，这也是现分类任务中常用的一种分类方式。那么什么是one-hot编码呢？为什么使用One-hot呢？One-hot 编码：称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类...

目录1.摘要（Abstract）：2.网络结构(Method)2.1 RNN2.2 RNN的变体2.2.1 双向RNN2.2.2 深层双向RNN2.3 LSTM2.3.1 LSTM内部结构详解2.4 GRU3.实验分析以及代码实现(Experiments)4.结论(Coclusion)5. 参考文献1.摘要（Abstract）：RNN的目...

以下笔记来源：[1] . Andrew Ng的卷积神经网络week3[2] .【吴恩达课后编程作业】Course 4 - 卷积神经网络 - 第三周作业 （https://blog.youkuaiyun.com/u013733326/article/details/80341740#commentsedit） [3].yolo.h5文件问题的解决 -...

以下笔记来源：[1] . Andrew Ng的卷积神经网络week1[2] .tensorflow中常用学习率更新策略(https://blog.youkuaiyun.com/dcrmg/article/details/80017200)[3] . 深度学习笔记（http://www.ai-start.com/dl2017/html/lesson4-week1.html#header-n366）...

以下笔记来源：[1] . Andrew Ng的卷积神经网络week2[2] . Keras中文手册[3] .残差网络(Deep Residual Learning for Image Recognition)（https://blog.youkuaiyun.com/u014665013/article/details/81985082）[4].残差网络ResNet网络原理及实现( https:...

以下笔记来源：[1] . 《pytorch深度学习实战》[2] .pytorch 损失函数总结 （https://blog.youkuaiyun.com/jacke121/article/details/82812218） [3] .PyTorch学习之十种优化函数(https://blog.youkuaiyun.com/shanglianlm/article/details/85019633) ...

以下笔记来源：[1] . 《pytorch深度学习实战》深度学习中图像处理函数的总结：图像处理包括滤波，变换，图像插值，旋转，仿射，形态学的处理。一般我们常用的图像处理库有opencv，scipy，sickit，pillow等，其中opencv功能之强大，opencv-python的安装请查看：https://blog.youkuaiyun.com/qq_41997920/article/deta...

关于全连接层的理解：全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。首先看经典网络VGG16：从左至右，一张彩色图片输入到网络，白色框是卷积层，红色是池化，蓝色是全连接层，棕色框是预测层。预测层的作用是将全连接层输出的信息转化为相应的类别概率，而起到分类作用。在学习VGG过程中一直有一个疑问，...

在看源码的过程发现使用了如下一段代码：labels_path = os.path.join(path, '%s-labels.idx1-ubyte' % kind)#os.path.join()函数用于路径拼接文件路径关于函数的注释也很明了，但后面的参数含义却有一些模糊。path：读取文件路径；'%s-labels.idx1-ubyte'：拼接文件名的后半部分；%kind：...

Background语义分割是一种典型的计算机视觉问题，其涉及将一些原始数据（例如，平面图像）作为输入并将它们转换为具有突出显示的感兴趣区域的掩模。许多人使用术语全像素语义分割（full-pixel semantic segmentation），其中图像中的每个像素根据其所属的感兴趣对象被分配类别ID。早期的计算机视觉问题只发现边缘（线条和曲线）或渐变等元素，但它们从未完全按照人类感知的方式...

带着问题学习深度学习，罗列深度学习中一些基础问题，并在学习中一点一点解决并理解相关问题。同时在此特别感谢Doctor Liu的指导！以下涉及问题的答案可能来源于网络或者论文，以及书籍，如有侵权请联系删除。（一）深度学习/神经网络1.神经网络常用的激活函数有哪些？（五种以上）目前最常用的有哪些？ans：sigmoid函数，tanh函数，ReLU函数，Leaky ReLU函数, ...