qqywm的博客

 判断是否是汉字使用的是unicode编码#判断是步是中文字符，汉字的unicode编码最小值为：0x4e00，最大值为0x952f def _is_chinese_char(self, cp): """Checks whether CP is the codepoint of a CJK character.""" # This defines a "chinese c...

论文attention is all your needgithub：https://github.com/google-research/bert解读翻译：https://www.jiqizhixin.com/articles/2018-11-01-9     https://baijiahao.baidu.com/s?id=1616001262563114372&wfr=s...

输出参数INFO:tensorflow:*** Features ***INFO:tensorflow: name = input_ids, shape = (8, 128)INFO:tensorflow: name = input_mask, shape = (8, 128)INFO:tensorflow: name = masked_lm_ids, shape = (8, 20)...

bert代码模型部分的解读bert_config.josn 模型中参数的配置{"attention_probs_dropout_prob": 0.1, #乘法attention时，softmax后dropout概率 "hidden_act": "gelu", #激活函数 "hidden_dropout_prob": 0.1, #隐藏层dropout概率 "hidden_size"...

bert代码解读之中文命名实体识别中文ner Use google BERT to do CoNLL-2003 NER 数据处理部分：20864句话，train-0:tokenstokens:汉字inpu_ids:转换成词典中对应的idinput_mask:对应的mask，此处只是一句话，该句话处理成1，其他的不够128的长度的部分补0segment_ids:只有一...

神经机器翻译 之 谷歌 transformer 模型96 涛涛江水向坡流1.7 2018.08.06 19:09* 字数 2471 阅读 14639评论 7喜欢 26声明：转载请在标题标明转载，并添加原文链接。简介这篇博客的主要内容是对谷歌提出的transformer 进行论文解读，包含算法复杂度的分析。对应的论文是 “Attention is all you need", 链接如下 h...

第一部分：TRANSFORMERTransformer出自于论文Attention is All You Need，Tensorflow实现的版本可以由Tensor2Tensor下载查看。Pytorch版本见guide annotating the paper with PyTorch implementation。本篇文章会试着简化概念并且一个一个介绍，以便于初学者理解。总览让我们从...

方法抽象地看，我们要做的事情就是，给定一个矩阵，每行都进行左移，而移动的个数随行数递增而递减。我目前想到的一种方法是使用gather，将想要的index提前定好，然后使用Pytorch的gather就能够实现。而transformer-xl实现了另一种更好的方法：_rel_shift。 def _rel_shift(self, x, zero_triu=False...