qq_57832544的博客

一、思路与步骤，提取码：jkzi例如作者的感言，求月票等等。章节内容的文本过长，大大降低了模型运行的速度。4、将文本通过预训练模型（BERT、XLNet等）或者Word2Vec等别的方式进行分词转向量：通常预训练模型得到的词向量效果更好。分词一般分字，一个字对应一个标签5、数据预处理：将转成的向量文本数据和标签数据规范化：文本数据张量形状为（批数据条数，最大序列长度，词向量维度），标签数据张量形状为（批数据条数，最大序列长度）。6、搭建模型：一般只需要搭建编码器部分，在接上全连接做分类器，

相关知识自行了解，上代码，代码是好久之前在大学写的了，可能有点乱，工作之后没时间优化了，但模块功能绝对没问题，报错的话应该是库的不兼容产生的，我忘记原来的库版本了，python用的是3.8。一、Transformer-textCNN。一、Transformer-textCNN。二、BERT-textCNN。

解码器与编码器的不同之处在于加了一层用于连接编码器信息的注意力机制模块，如上图中间模块的注意力机制，并且，该模块与其他注意力机制模块的不同之处是掩码机制不同，目的是为了防止解码器偷看到后面的序列信息，如下图所示，（右）遮掩后就不能获取到该时刻后面的序列注意力信息，达到防偷看的目的。编码器里用到的掩码机制只遮住了填充符部分，为了提高计算机的计算速度。前馈神经网络是最基础的神经网络，非常简单，这里用的是一个输入层和输出层的神经网络，激活函数是relu函数，该神经网络的作用是进行非线性运算，提取非线性信息。

TextRank算法笔记

情感分析的研究现状、技术方法、存在问题等简单介绍。

word2vec的知识点笔记

NLP学习笔记——TF-IDF