qq_43645301的博客

nn.TransformerEncoderLayer这个类是transformer encoder的组成部分，代表encoder的一个层，而encoder就是将transformerEncoderLayer重复几层。Args:d_model: the number of expected features in the input (required).nhead: the number of heads in the multiheadattention models (required).d

学习目标：huggingface bert的使用学习内容：data precessor等类的搭建 （预处理文本数据）pretrain模型的调用模型的搭建（与pytorch结合使用）训练过程DataProcessor类其中get_labels和几个get_examples需要注意，可能需要自己改写InputExample类guid是唯一标识符 可以定义成下面这种形式guid = f'{set_type}-{i}-{j}'#这里的f是python的字符串格式label a 和labe

gensim 导入model方法gensim 导入word2vec模型gensim 构建pytorch的预训练embeddinggensim 导入word2vec模型使用KeyedVector.load_word2vec_format() ，这样将模型加载到一个keyvector实例中import gensimmodel = gensim.models.KeyedVectors.load_word2vec_format('vectors.bin', binary=True)此处导入了 word2