- 博客(7)
- 收藏
- 关注
RSS订阅原创 Kaggle上的狗品种识别（ImageNet Dogs）
Kaggle上的狗品种识别（ImageNet Dogs） 在本节中，我们将解决Kaggle竞赛中的犬种识别挑战，比赛的网址是https://www.kaggle.com/c/dog-breed-identification 在这项比赛中，我们尝试确定120种不同的狗。该比赛中使用的数据集实际上是著名的ImageNet数据集的子集。 In [1]: import torch import torch...
2020-02-22 17:54:00
6403
8
原创 word2vec
词嵌入基础 我们在“循环神经网络的从零开始实现”一节中使用 one-hot 向量表示单词，虽然它们构造起来很容易，但通常并不是一个好选择。一个主要的原因是，one-hot 词向量无法准确表达不同词之间的相似度，如我们常常使用的余弦相似度。 Word2Vec 词嵌入工具的提出正是为了解决上面这个问题，它将每个词表示成一个定长的向量，并通过在语料库上的预训练使得这些向量能较好地表达不同词之间的相似和类...
2020-02-22 17:35:33
324
原创 学习率对梯度下降的影响
一维梯度下降 证明：沿梯度反方向移动自变量可以减小函数值 泰勒展开： f(x+ϵ)=f(x)+ϵf′(x)+O(ϵ2) 代入沿梯度方向的移动量 ηf′(x)： f(x−ηf′(x))=f(x)−ηf′2(x)+O(η2f′2(x)) f(x−ηf′(x))≲f(x) x←x−ηf′(x) e.g. f(x)=x2 %matplotlib inline import numpy as np impo...
2020-02-22 17:27:14
1621
原创 modern cnn
AlexNet 首次证明了学习到的特征可以超越⼿⼯设计的特征，从而⼀举打破计算机视觉研究的前状。 特征： 1、8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。 2、将sigmoid激活函数改成了更加简单的ReLU激活函数。 3、用Dropout来控制全连接层的模型复杂度。 4、引入数据增强，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合。 import time im...
2020-02-16 11:25:47
213
原创 Transformer
Transformer 为了整合CNN和RNN的优势，[Vaswani et al., 2017] 创新性地使用注意力机制设计了Transformer模型。该模型利用attention机制实现了并行化捕捉序列依赖，并且同时处理序列的每个位置的tokens，上述优势使得Transformer模型在性能优异的同时大大减少了训练时间。 图10.3.1展示了Transformer模型的架构，与9.7节的s...
2020-02-16 11:08:35
414
原创 过拟合欠拟合及其解决方案
多项式函数拟合实验 %matplotlib inline import torch import numpy as np import sys sys.path.append("/home/kesci/input") import d2lzh1981 as d2l print(torch.__version__) 初始化模型参数 n_train, n_test, true_w, true_b =...
2020-02-16 10:52:16
388
原创 线性回归
线性回归模型从零开始的实现 # import packages and modules %matplotlib inline import torch from IPython import display from matplotlib import pyplot as plt import numpy as np import random print(torch.__version__) ...
2020-02-14 17:41:28
114
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人