weixin_41318625的博客

与Bert结构不完全相同模型 从.ckpt 转换为.bin从tensorflow转换为pytorchAttributeErroor:" BertForPreTraining' object has no attribute “bias“

expand 的参数是扩展后的维度repeat 的参数是每一维扩展的倍数

import numpy as npimport torch from transformers import BertTokenizer, BertConfig, BertForMaskedLM, BertForNextSentencePredictionfrom transformers import BertModelmodel_name = 'bert-base-chinese'MODEL_PATH = 'F:/Transformer-Bert/bert-base-chinese/'

https://zhuanlan.zhihu.com/p/462469487

fairseq训练框架，原代码解析，fairseq的训练过程是如何进行的

1. 首先定义的类是整个模型的类GuidedTransformerModel(FairseqEncoderDecoderMoel)通过@register的方式注册模型，模型继承FairseqEncoderDecoderModel@register_model("guided_transformer")class GuidedTransformerModel(FairseqEncoderDecoderModel):1）定义init函数 def __init__(self, args, enc

https://zhuanlan.zhihu.com/p/363025910

fairseq, NLP, pytorch

我们作这样一个假设：假设现有一个比较浅的网络（Shallow Net）已达到了饱和的准确率，这时在它后面再加上几个恒等映射层（Identity mapping，也即 y=x，输出等于输入），这样就增加了网络的深度，并且起码误差不会增加，也即更深的网络不应该带来训练集上误差的上升。而这里提到的使用恒等映射直接将前一层输出传到后面的思想，便是著名深度残差网络 ResNet 的灵感来源。残差网络借鉴了高速网络（Highway Network）的跨层链接思想，但对其进行改进（残差项原本是带权值的，但ResNet用

BERT生成的动态词向量和word2vec的词向量的区别：Bert的动态词向量指的是将文本经过Bert处理之后形成的表示。word2vec的词向量是在一个预训练好的词表示矩阵中查某个词的表示向量。区别就在于计算前者的时候需要过一次模型，后者直接检索（look up）参数表就能得到，不需要过模型。细说的话，每个模型都要为所有单词创建一个固定的向量表示（所有单词的表示构成一个矩阵），然后训练时优化它。静态的意思就在这，每个单词的表示是固定的。Bert也有这样的矩阵，所以我们也可以用检索的方式获得Bert.

pytorch 学习笔记unsqueezeunsqueeze可以用来在指定维度上增加一维a1=torch.arange(0,10)print(a1)a2=torch.arange(0,10).unsqueeze(0)print(a2)a3=torch.arange(0,10).unsqueeze(1)print(a3)print(a1.size(),a2.size(),a3.size()#tensor([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])#tensor([