Loader's Blog

专栏规划：本文稍后更新~~

本文重点介绍了多头自注意力机制以及代码实现，并且详细介绍了每一行代码的实现。

专栏规划:在上篇文章中我们介绍了Transformer架构模型，但是上篇文章我们着重讲解的FFN和的实现，有一个遗留的自注意力没有实现，在本文我们从浅入深介绍自注意力机制，下篇文章我们将代码实现自注意力机制，并且继承到上篇文章实现的中。

专栏规划:首先说明一下，跟其他文章不太一样，在本篇文章中不会对Transformer架构中的自注意力机制进行讲解，而是后面单独1~2篇文章详细讲解自注意力机制，我认为由浅入深的先了解Transformer整体架构和其中比较简单的部分，后面再详细讲解自注意力更容易理解Transformer架构。Transformer架构是Google在2017的著名的论文中提出，Transformer的整体架构可以用以下这张著名的架构图来说明从架构图可以看出，Transformer由左右两部分组成，左边的叫。

专栏规划:再开始编写GPT之前，我们得对GPT是怎么生成内容的有一个大致的了解。目前的神经网络我们大多都可以看成是一个黑盒，即我们把数据输送给网络后，网络给我我们输出，我们可以不用关心这个黑盒里到底是怎么实现的，但是我们的目标是从零写一个类GPT模型，所以这里我们先对GPT生成内容的过程做一个大致的介绍。

专栏规划:因为咱们本系列文章主要基于深度学习框架pytorch进行，所以在正式开始之前，现对pytorch框架进行一个简单的介绍，主要面对深度学习或者pytorch还不熟悉的朋友。

本文主要介绍咱们将要用到的数据集以及对该数据集进行预处理

本系列文章将从头编写一个类GPT的深度学习模型，并在诗词数据集上进行训练，从而可以进行诗词创作。