Yolo_C的博客

pytorch，keras,tensorflow的模型代码框架参考自此公众号文章，后续会不断地加详细一些pytorchfrom torch.optim as Optimizerfrom torch import nnimport torchclass modelName(nn.Module): def init(self,): # 加入每个层的实例化 # 常用如下 nn.Embedding() nn.RNN()

论文原文Attention is all you need:https://arxiv.org/pdf/1706.03762.pdf参考的链接：https://zhuanlan.zhihu.com/p/46990010https://www.tensorflow.org/tutorials/text/transformerhttps://segmentfault.com/a/11900000200210781 general的attention机制【以下为原文的翻译】注意力函数可视为将一个q

论文原文Attention is all you need:https://arxiv.org/pdf/1706.03762.pdf输入序列(x1,x2,...,xn)(x_1,x_2,...,x_n)(x1​,x2​,...,xn​)输出序列(z1,z2,...,zn)(z_1,z_2,...,z_n)(z1​,z2​,...,zn​)xi,zi∈Rdx_i,z_i \in R^dxi​,zi​∈Rdn：序列长度d：表征维度k：卷积大小r：restricted self-attentio

该链接https://www.zhihu.com/question/387534279中提到，可以直接使用bert模型预留的[unused*]加入下游任务的先验知识，将[unused*]直接替换成新的token。本文主要介绍如何直接使用transformers这个库实现这一功能首先将"vocab.txt"中的[unused*]替换成需要的token，如[line=*]但是如果直接调用transformer中的tokenizer：tokenizer = BertTokenizer.from_pretr

【搬运工】在某些情况下，比如我最近遇到的句子级别的序列标注任务，使用BERT得到句向量，是一个可以快速跑通baseline模型的选择，如何使用预训练bert表征句子向量，我自己常用的方法有以下三种1. [CLS] token对应的encoding最原始的方法，使用模型的[CLS] token对应的encoding，可以看huggingface的transformers首页的quick tour有简单的example，极易上手https://github.com/huggingface/transfor