pumpkinstay的博客

优化算法进阶RMSPropAdaDelta RMSProp 解决AdaGrad学习率过渡衰减的问题。 vt←βvt−1+(1−β)gt⊙gtxt←xt−1−ηvt+ϵ⊙gt\boldsymbol{v}_t \leftarrow \beta \boldsymbol{v}_{t-1} + (1 - \beta) \boldsymbol{g}_t \odot \boldsymbol{g}_t\\ \bo...

算法优化进阶Momentumill-conditioned problem最大学习率Supp: PreconditioningSolution to ill-condition Momentum 深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam） Notebook 8.1中MBGD，依然存在问题： learning rate的选择： 容易...

梯度下降一维梯度下降 现在使用 的随机梯度下降以及小批量梯度下降都是 一维梯度下降

优化与深度学习优化与估计优化在深度学习中的挑战local minimumsaddle point 优化与估计 尽管优化方法可以最小化深度学习中的损失函数值，但本质上优化方法达到的目标与深度学习的目标并不相同。 优化方法目标：训练集损失函数值 深度学习目标：测试集损失函数值（泛化性） %matplotlib inline import sys sys.path.append('/home/kes...

批量归一化和残差网络批量归一化 Batch Normalization1. 对全连接层做批量归一化2.对卷积层做批量归⼀化3.预测时的批量归⼀化从零实现 批量归一化 Batch Normalization BN是针对深层CNN的方法之一，有助于有效模型的训练。是对数据的标准化处理。 对输入的标准化（浅层模型） 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使...

文章目录NiN 网络中的网络GoogLeNetInception BlockGoogLeNet模型 NiN 网络中的网络 LeNet、AlexNet和VGG：先以由卷积层构成的模块充分抽取空间特征，再以由全连接层构成的模块来输出分类结果。 NiN：串联多个由卷积层和“全连接” 层构成的小网络来构建⼀个深层网络。 NiN用了输出通道等于标签类别数的NiN block（最后一个block），然后使用G...

文章目录AlexNetVGG AlexNet LeNet： 在大的真实数据集上的表现并不尽如⼈意。 1.神经网络计算复杂。 2.还没有大量深入研究参数初始化和非凸优化算法等诸多领域。 AlexNet：首次证明了学习到的特征可以超越手工设计的特征，从而一举打破计算机视觉研究的前状。 特征： 1）8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。 2）将sigmoid激活函数改成...

LeNetcourse contentCNNLeNet course content lenet 模型介绍 lenet 网络搭建 运用lenet进行图像识别-fashion-mnist数据集 CNN 使用全连接层的局限性： 图像在同一列邻近的像素在这个向量中可能相距较远。 它们构成的模式可能难以被模型识别。 对于大尺寸的输入图像，使用全连接层容易导致模型过大。 使用卷积层的优势： 卷积层...

文章目录机器翻译机器翻译和数据集数据预处理分词建立词典载入数据集 机器翻译 机器翻译和数据集 机器翻译不能直接用循环神经网络来实现，主要困难在于：输出是单词序列而不是单个单词， 输出序列的长度可能与源序列的长度不同。比如 3个 I am Chinese 得映射到 5个 我是中国人。 import os os.listdir('/home/kesci/input/') OUT： [‘fraeng6...

文章目录循环神经网络进阶GRU Gated Recurrent Units载入数据集初始化参数GRU模型训练模型简洁实现LSTM(long short-term memory) 循环神经网络进阶 GRU Gated Recurrent Units GRU：门控循环神经网络 RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT）。当时间步数比较大或者比较小的时候，循环神经网络的梯度容易出Vani...

文章目录自然语言处理一、文本预处理读入文本分词建立字典将词转为索引用现有工具进行分词二、语言模型(基于统计)语言模型n元语法语言模型数据集读取数据集建立字符索引时序数据的采样随机采样相邻采样 自然语言处理 一、文本预处理 把字符/单词 --> 数值 --> 才能被网络计算blabla 读入文本 import collections import re def read_time_ma...

文章目录循环神经网络从0开始实现循环神经网络裁剪梯度clip gradient定义预测函数定义模型训练函数训练模型并创作歌词循环神经网络的简洁实现 循环神经网络 从0开始实现循环神经网络 一个机器翻译预测的例子(伯禹学习的例子 www.boyuai.com)来体会循环神经网络 裁剪梯度clip gradient 循环神经网络很容易梯度衰减或梯度爆炸，因为它的反向传播方式是通过时间反向传播，分析模型...

文章目录卷积神经网络基础多输入通道和多输出通道卷积层 V.S 全连接层 卷积神经网络基础 class Conv2D(nn.Module): def __init__(self, kernel_size): super(Conv2D, self).__init__() self.weight = nn.Parameter(torch.randn(kernel_...

过拟合、欠拟合及其解决方案 一些概念 训练误差 Training error & 泛化误差 Generalized error： 前者 模型在训练数据集上表现出的误差 ； 后者 模型在任意一个测试数据样本上表现出的误差的期望，常常通过测试数据集上的误差来近似。计算二者可用损失函数，e.g.: 平方损失函数、Softmax用到的交叉熵损失函数。 机器学习模型关注降低 Generalized...

线性回归 线性回归理论知识blabla就不记录了，新手本人的python,pytorch陌生的东西的记录。 广播语义 一般语义 Genaral Semantics 和In-place Semantics不一样 x与y满足可广播的四个条件：（遍历张量维度大小时，从末尾随开始遍历） 1- both have size 1 2- trailing dimension: y has size 1 3-...