loveheart123-优快云博客

原创 GAN;DCGAN

目录GANGAN对于生成式网络来说，给定一个dataset，我们希望生成式网络可以在这个dataset基础上生成一些新的但是又不属于原始dataset的数据。对于分类器网络来说，给定一个分类器，我们希望分类器可以成功将生成的数据与原始的dataset数据进行区分。由此我们构成一个GAN（Generative Adversarial Networks）生成对抗网络。对于分类器而言，我们希...

2020-02-25 21:57:30 479

原创文本分类；数据增强；模型微调

目录文本分类图像增广微调（迁移学习）文本分类图像增广大规模数据集是成功应用深度神经网络的前提。图像增广（image augmentation）技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。图像增广的另一种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力。例如，我们可以对图像进行不同方式的裁剪，使感兴趣的物体出现在...

2020-02-25 21:55:18 502

原创优化算法进阶;word2vec；词嵌入进阶

目录优化算法进阶An ill-conditioned ProblemMaximum Learning RateSupp: PreconditioningSolution to ill-conditionMomentum AlgorithmExponential Moving AverageSupp由指数加权移动平均理解动量法Pytorch ClassAdaGradAlgor...

2020-02-25 21:54:28 526

原创批量归一化和残差网络凸优化和梯度下降

目录批量归一化和残差网络批量归一化（BatchNormalization）1.对全连接层做批量归一化2.对卷积层做批量归⼀化3.预测时的批量归⼀化残差网络（ResNet）残差块（Residual Block）ResNet模型稠密连接网络（DenseNet）DenseNet模型凸优化梯度下降随机梯度下降参数更新动态学习率小批量随机梯度下降批量归一化和残差网络批量归一...

2020-02-25 21:47:55 470

原创《动手学深度学习——机器翻译及相关技术，注意力机制与seq2seq模型，Transformer》笔记

动手学深度学习：机器翻译及相关技术，注意力机制与seq2seq模型，Transformer初次学习机器翻译相关，把课程的概念题都记录一下。目录：1、机器翻译及相关技术2、注意力机制与seq2seq模型3、Transformer1、机器翻译以及相关技术1、机器翻译以及相关技术1、关于Sequence to Sequence模型说法错误的是：A 训练时decoder每个单元输出得到的...

2020-02-19 21:24:09 1276

原创《动手学深度学习——卷积神经网络、LeNet、卷积神经网络进阶》笔记

动手学深度学习：卷积神经网络，LeNet，卷积神经网络进阶卷积神经网络基础目录：1、卷积神经网络的基础概念2、卷积层和池化层3、填充、步幅、输入通道和输出通道4、卷积层的简洁实现5、池化层的简洁实现1、卷积神经网络的基础概念最常见的二维卷积层，常用于处理图像数据。二维互相关运算二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kerne...

2020-02-19 21:02:49 703

原创《动手学——循环神经网络进阶、梯度消失、梯度爆炸以及Kaggle房价预测、过拟合、欠拟合及其解决方案》笔记

《动手学——循环神经网络进阶》笔记GRU时间步数较大或者较小时，循环神经网络梯度较容易出现梯度衰减/梯度爆炸。虽然裁剪梯度可以应对梯度爆炸，但没法解决梯度衰减问题。所以提出⻔控循环神经⽹络GRU，来捕捉时间序列中时间步距离较⼤的依赖关系RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT）⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系RNN:Ht=ϕ(XtWxh+Ht−1...

2020-02-19 20:46:00 802

原创动手学深度学习--第二课

1文本预处理基本概念：读入文本、分词、建立字典、将词转为索引将文本按段落读取，再将文本转为小写，使用正则的方法，消除其中的非字母的字符，得到句子。import rewith open('1.txt', 'r') as f: print([re.sub('[^a-z]+', ' ', line.strip().lower()) for line in f])分词：对每个句子进行分...

2020-02-14 21:40:15 232

原创动手学深度学习--第一课

一、线性回归主要内容包括：线性回归的基本要素线性回归模型从零开始的实现线性回归模型使用pytorch的简洁实现线性回归的基本要素模型为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系:price=warea⋅area+wage⋅age+bprice=war...

2020-02-14 21:36:23 382