qq_43858783的博客

没有使用d2l库，所有内容都有具体的实现代码，复现效率高~

【代码】【动手学深度学习-Pytorch版】自然语言统计。

【代码】【动手学深度学习-Pytorch版】循环神经网络-介绍。

【代码】【动手学深度学习-Pytorch版】循环神经网络-从零开始实现。

【代码】【动手学深度学习-Pytorch版】循环神经网络-简洁实现。

支持隐状态的门控：这意味着模型有专门的机制来确定应该何时更新隐状态， 以及应该何时重置隐状态。这些机制是可学习的，并且能够解决了上面列出的问题。例如，如果第一个词元非常重要， 模型将学会在第一次观测之后不更新隐状态。同样，模型也可以学会跳过不相关的临时观测。最后，模型还将学会在需要的时候重置隐状态。下面我们将详细讨论各类门控。formula：门 是和隐藏状态同样的一个向量Rt​σXt​∗Wxr​Ht−1​∗Whr​br​Zt​σXt​。

PS：时间仓促，有空补充内容~

【代码】【动手学深度学习-Pytorch版】深度循环神经网络的实现。

【代码】【动手学深度学习-Pytorch版】双向循环神经网络。

【代码】【动手学深度学习-Pytorch版】机器翻译与数据集。

遵循编码器－解码器架构的设计原则， 循环神经网络编码器使用长度可变的序列作为输入， 将其转换为固定形状的隐状态。 换言之，输入序列的信息被编码到循环神经网络编码器的隐状态中。 为了连续生成输出序列的词元， 独立的循环神经网络解码器是基于输入序列的编码信息 和输出序列已经看见的或者生成的词元来预测下一个词元。

该模型中直接使用的是上述提到的核，同时在进入模型初始化函数中，查询的初始化大小为测试数据输入大小，而键与值是成对出现的，所以两者大小是相同的。后面将查询的大小更改成(查询个数，“键-值”对数)，注意力权重也是该形状。"""定义模型"""# w控制的是高斯核的窗口大小，可以通过W控制曲线平滑一点或者不平滑# queries和attention_weights的形状为(查询个数，“键-值”对数)# attention的形状也是(查询个数，“键-值”对个数)

Transformer由论文《Attention is All You Need》提出，现在是谷歌云TPU推荐的参考模型。论文相关的Tensorflow的代码可以从GitHub获取，其作为Tensor2Tensor包的一部分。哈佛的NLP团队也实现了一个基于PyTorch的版本，并注释该论文。在本文中，我们将试图把模型简化一点，并逐一介绍里面的核心概念，希望让普通读者也能轻易理解。Transformer 与 RNN 不同，可以比较好地并行训练。

【代码】【动手学深度学习-Pytorch版】BERT预测系列——BERTModel。

【代码】【动手学深度学习-Pytorch版】BERT预测系列——用于预测的BERT数据集。

手撸Transformer代码（李沐老师上课代码~）

在项目的开始，首先需要明确相关的基本概念：词元、词表、语料、未知词元。

【代码】【动手学深度学习-Pytorch版】使用深度学习框架简洁实现线性回归模型。

【代码】【动手学深度学习-Pytorch版】自定义层-带参数的层。

【代码】【动手学深度学习-Pytorch版】微积分。

【代码】【动手学深度学习-Pytorch版】数据操作。

【代码】【动手学深度学习-Pytorch版】自动微分。

【代码】【动手学深度学习-Pytorch版】softmax回归。

【代码】【动手学深度学习-Pytorch版】通过继承nn.Module实现灵活的参数处理。

【代码】【动手学深度学习-Pytorch版】图像分类数据器。

【代码】【动手学深度学习-Pytorch版】数据预处理。

【代码】【动手学深度学习-Pytorch版】线性回归从零开始实现。

【代码】【动手学深度学习-Pytorch版】线性代数。

【代码】【动手学深度学习-Pytorch版】自定义层-不带参数的层。