Mrhan的博客

该论文是发表于2016年。还算是比较早的论文了。虽然现在有更好的模型。比如BERT横空出世，相信未来也会源源不断的大牛来提出更多新的模型。但是读读总还是会收获的。之前自己也用BERT来进行中文NER的识别，代码放到了 https://github.com/xuanzebi/BERT-CH-NER 欢迎Star啊哈哈。论文网络模型图论文解读论文处理的是...

代码和数据都存放在了github上：https://github.com/xuanzebi/BERT-CH-NER欢迎大家STAR啊，来让我收获人生的第一个STAR吧 2333~~~~~基于上课老师课程作业发布的中文数据集下使用BERT来训练命名实体识别NER任务。之前也用了Bi+LSTM+CRF进行识别，效果也不错，这次使用BERT来进行训练，也算是对BERT源码进行一个阅读...

首先论文中说到因为没有用到RNN也没有用到CNN提取特征，所以句子中没有很好的应用位置信息。所以需要在input embedding后加上Positional Encoding 。所以论文中提出了一种Positional Encoding的实现方式，下面贴出代码的实现以及讲解。首先看下论文中提出的方式，pos为词的位置信息，dmodel为词向量embedding的维度。最后得到的向量大小...

正如标题所言，本文总结了一下传统的Attention，以及介绍了在seq2seq模型中使用attention方法的不同方式。摘要 首先seq2seq分为encoder和decoder两个模块，encoder和decoder可以使用LSTM、GRU等RNN结构，这也是之前transformer没出来之前常用的经典方法。(主要选取了tensorflow官方教程和pytorch教程的例子作对...

import numpy as npimport torchimport torch.nn as nnimport torch.nn.functional as F# 支持多分类和二分类class FocalLoss(nn.Module): """ This is a implementation of Focal Loss with smooth label cr...