【论文】命名实体识别

命名实体识别NER论文调研 因为NER任务与笔者之前做的CCF互联网金融新实体识别竞赛相关,所以这两个月也调研了一些NER的算法,这两年的NER算法思想主要集中在将词典信息融入训练过程,达到减少中文语义歧义的效果。... 阅读详情


✨✨ 欢迎大家来访Srlua的博文(づ ̄3 ̄)づ╭❤~✨✨

🌟🌟 欢迎各位亲爱的读者,感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢,在这里我会分享我的知识和经验。🎥

希望在这里,我们能一起探索IT世界的奥妙,提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏:​​​​​​传知代码论文复现

欢迎访问我的主页:Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

目录

主要目标

应用

论文介绍

技术方法

BERT编码

BiLSTM特征提取

注意力机制

CRF标注

LoRA

数据处理

数据来源

数据标注

BIO标签定义

核心逻辑

BaLC模型

LoRA结构

实现方式

演示效果


 本文所有资源均可在该地址处获取:地址

概述

实体识别任务(Named Entity Recognition,简称NER)是自然语言处理(NLP)中的一个基本任务,旨在从文本中识别和分类命名实体。命名实体通常包括专有名词,如人名、地名、组织名等。

下图展示了一个简单的实体抽取任务,在句子中抽取出来阿里巴巴(组织名)、马云(人名)和杭州(地名)三个实体。 在这里插入图片描述

主要目标

NER 的主要目标是找到文本中有意义的实体,并将其归类到预定义的类别中。以下是一些常见的类别:

  • 人名(Person):例如“乔布斯”、“马云”。

  • 地名(Location):例如“纽约”、“长城”。

  • 组织名(Organization):例如“微软”、“联合国”。

应用

命名实体识别是自然语言处理领域的一个重要的任务,它在很多具体任务上有着自己的应用:

  • 信息抽取:从大量文档中自动提取有价值的信息。

  • 问答系统:帮助系统更准确地理解问题并返回相关答案。

  • 文本摘要:在生成文本摘要时识别出关键实体以保留重要信息。

  • 推荐系统:通过识别用户偏好的实体来提供个性化推荐。

论文介绍

本文的工作启发于论文BERT-BiLSTM-CRF Chinese Resume Named Entity Recognition

Combining Attention Mechanisms

BERT-BiLSTM-CRF Chinese Resume Named Entity Recognition Combining Attention Mechanisms | Proceedings of the 4th International Conference on Artificial Intelligence and Computer Engineering

技术方法

在这里插入图片描述

BERT编码

首先,将输入的中文文本通过预训练的 BERT 模型进行编码,生成每个字的上下文表示。BERT模型通过其双向Transformer架构,能够捕捉文本中每个字与其前后文之间的复杂关系,从而生成高质量的字级别表示,有助于后续的特征提取和实体识别。

BiLSTM特征提取

接下来,将 BERT 输出的特征向量输入到双向长短时记忆网络(BiLSTM)中,以捕捉序列中的前后依赖关系。BiLSTM网络能够从两个方向处理序列数据,即从前向后和从后向前。使得模型可以充分利用上下文信息,对每个字在整个序列中的位置和角色进行更准确的建模,从而提取出更丰富的特征表示。

注意力机制

在 BiLSTM 层之后,引入注意力机制,以便模型能够聚焦于更相关的特征。注意力机制通过计算序列中各个字之间的相关性权重,使模型能够动态地调整对不同位置的字的关注程度。

CRF标注

最后,将经过注意力机制处理的特征向量输入CRF层,进行全局序列标注,输出最终的实体识别结果。CRF是一种用于序列标注的概率图模体型,它考虑了标注序列的全局依赖关系,从而在预测每个字的标签时,不仅依赖于当前字的特征,还综合考虑其邻近字的标注情况。

论文提出的BERT-BiLSTM-Att-CRF模型在中文数据集上取得了较好的识别效果。

结合论文提出的框架,本文新增了一个LoRA层,用来优化模型

LoRA

神经网络包含许多密集层执行矩阵乘法。这些层中的权重矩阵通常是满秩的。当适应特定下游任务时,研究表明:预训练语言模型拥有较低的内在维度,也就是说,存在一个极低维度的参数,对它进行微调,和在全参数空间中进行微调,训练效果是相近的。受此启发,在参数更新过程中,应当也存在一个相对较低的“本征秩”。对于预训练的权重矩阵,通过低秩分解来约束其更新。在涉及到矩阵相乘的模块,增加一个新的通路,通过前后两个矩阵A,B相乘,第一个矩阵A负责降维,第二个矩阵B负责升维,中间层维度为r,从而来模拟本征秩。

数据处理

数据来源

本文所用的训练数据是MSRA-NER数据集。

MSRA-NER是由微软亚洲研究院标注的新闻领域的实体识别数据集。该数据集包含5万多条中文实体识别标注数据,实体类别分为人物、地点、机构三类。

数据集包含训练集46364个句子,验证集4365个句子。

格式举例如下:

<span style="background-color:#f8f8f8"><span style="color:#333333"><span style="color:#000000">中</span> <span style="color:#000000">共</span> <span style="color:#000000">中</span> <span style="color:#000000">央</span> <span style="color:#000000">致</span> <span style="color:#000000">中</span> <span style="color:#000000">国</span> <span style="color:#000000">致</span> <span style="color:#000000">公</span> <span style="color:#000000">党</span> <span style="color:#000000">十</span> <span style="color:#000000">一</span> <span style="color:#000000">大</span> <span style="color:#000000">的</span> <span style="color:#000000">贺</span> <span style="color:#000000">词</span> <span style="color:#000000">各</span> <span style="color:#000000">位</span> <span style="color:#000000">代</span> <span style="color:#000000">表</span> <span style="color:#000000">、</span> <span style="color:#000000">各</span> <span style="color:#000000">位</span> <span style="color:#000000">同</span> <span style="color:#000000">志</span> <span style="color:#000000">:</span> <span style="color:#000000">在</span> <span style="color:#000000">中</span> <span style="color:#000000">国</span> <span style="color:#000000">致</span> <span style="color:#000000">公</span> <span style="color:#000000">党</span> <span style="color:#000000">第</span> <span style="color:#000000">十</span> <span style="color:#000000">一</span> <span style="color:#000000">次</span> <span style="color:#000000">全</span> <span style="color:#000000">国</span> <span style="color:#000000">代</span> <span style="color:#000000">表</span> <span style="color:#000000">大</span> <span style="color:#000000">会</span> <span style="color:#000000">隆</span> <span style="color:#000000">重</span> <span style="color:#000000">召</span> <span style="color:#000000">开</span> <span style="color:#000000">之</span> <span style="color:#000000">际</span> <span style="color:#000000">,</span> <span style="color:#000000">中</span> <span style="color:#000000">国</span> <span style="color:#000000">共</span> <span style="color:#000000">产</span> <span style="color:#000000">党</span> <span style="color:#000000">中</span> <span style="color:#000000">央</span> <span style="color:#000000">委</span> <span style="color:#000000">员</span> <span style="color:#000000">会</span> <span style="color:#000000">谨</span> <span style="color:#000000">向</span> <span style="color:#000000">大</span> <span style="color:#000000">会</span> <span style="color:#000000">表</span> <span style="color:#000000">示</span> <span style="color:#000000">热</span> <span style="color:#000000">烈</span> <span style="color:#000000">的</span> <span style="color:#000000">祝</span> <span style="color:#000000">贺</span> <span style="color:#000000">,</span> <span style="color:#000000">向</span> <span style="color:#000000">致</span> <span style="color:#000000">公</span> <span style="color:#000000">党</span> <span style="color:#000000">的</span> <span style="color:#000000">同</span> <span style="color:#000000">志</span> <span style="color:#000000">们</span> <span style="color:#000000">致</span> <span style="color:#000000">以</span> <span style="color:#000000">亲</span> <span style="color:#000000">切</span> <span style="color:#000000">的</span> <span style="color:#000000">问</span> <span style="color:#000000">候</span> <span style="color:#000000">!</span>
<span style="color:#000000">B</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">O</span> <span style="color:#000000">B</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">B</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">B</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">B</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span> <span style="color:#000000">O</span></span></span>

数据标注

采用BIO标注方式对获得的文本句子进行标注

BIO数据标注方式是命名实体识别(NER)任务中常用的一种标注方法。BIO代表三种标签:B(Begin),I(Inside)和O(Outside),用于标记文本中每个词属于某个命名实体的开头、内部或外部。以下是对BIO标注方式的详细介绍:

BIO标签定义
  • B(Begin):表示命名实体的开始。一个实体的第一个词标注为B-<实体类型>。

  • I(Inside):表示命名实体的内部。属于同一个实体的后续词标注为I-<实体类型>。

  • O(Outside):表示不属于任何命名实体的词。

例如,B-ORG表示组织实体的开头,I-ORG表示组织实体的内部。下图展示了一个标注好的例子,其中未标注的字段都是无实体(O)。 在这里插入图片描述

核心逻辑

BaLC模型

自定义attention层,bert模型、LSTM模型、CRF模型调用pytorch库中的相关模型,使用BERT预训练的语言模型对输入文本进行字符级编码,获得动态词向量,然后使用双向长短期记忆(BiLSTM)网络提取全局语义特征,然后使用注意力机制分配权重,更好地捕捉关键特征,最后使用条件随机场(CRFs)输出全局最优标记序列。具体定义如下:

<span style="background-color:#f8f8f8"><span style="color:#333333"><span style="color:#000000">import</span> <span style="color:#000000">torch</span>.<span style="color:#000000">nn</span> <span style="color:#000000">as</span> <span style="color:#000000">nn</span>
<span style="color:#000000">from</span> <span style="color:#000000">transformers</span> <span style="color:#000000">import</span> <span style="color:#000000">BertPreTrainedModel</span>, <span style="color:#000000">BertModel</span>, <span style="color:#000000">BertConfig</span>
<span style="color:#000000">from</span> <span style="color:#000000">torchcrf</span> <span style="color:#000000">import</span> <span style="color:#000000">CRF</span>
<span style="color:#000000">import</span> <span style="color:#000000">math</span>
<span style="color:#000000">import</span> <span style="color:#000000">torch</span>
​
​
<span style="color:#770088">class</span> <span style="color:#0000ff">Self_Attention</span>(<span style="color:#000000">nn</span>.<span style="color:#000000">Module</span>):
    <span style="color:#000000">def</span> <span style="color:#0000ff">__init__</span>(<span style="color:#000000">self</span>, <span style="color:#000000">input_dim</span>, <span style="color:#000000">dim_k</span>, <span style="color:#000000">dim_v</span>):
        <span style="color:#000000">super</span>(<span style="color:#000000">Self_Attention</span>, <span style="color:#000000">self</span>).<span style="color:#000000">__init__</span>()
        <span style="color:#000000">self</span>.<span style="color:#000000">q</span> <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">Linear</span>(<span style="color:#000000">input_dim</span>, <span style="color:#000000">dim_k</span>)
        <span style="color:#000000">self</span>.<span style="color:#000000">k</span> <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">Linear</span>(<span style="color:#000000">input_dim</span>, <span style="color:#000000">dim_k</span>)
        <span style="color:#000000">self</span>.<span style="color:#000000">v</span> <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">Linear</span>(<span style="color:#000000">input_dim</span>, <span style="color:#000000">dim_v</span>)
        <span style="color:#000000">self</span>.<span style="color:#000000">_norm_fact</span> <span style="color:#981a1a">=</span> <span style="color:#116644">1</span> <span style="color:#981a1a">/</span> <span style="color:#000000">math</span>.<span style="color:#000000">sqrt</span>(<span style="color:#000000">dim_k</span>)
​
    <span style="color:#000000">def</span> <span style="color:#0000ff">forward</span>(<span style="color:#000000">self</span>, <span style="color:#000000">x</span>):
        <span style="color:#000000">Q</span> <span style="color:#981a1a">=</span> <span style="color:#000000">self</span>.<span style="color:#000000">q</span>(<span style="color:#000000">x</span>)  
        <span style="color:#000000">K</span> <span style="color:#981a1a">=</span> <span style="color:#000000">self</span>.<span style="color:#000000">k</span>(<span style="color:#000000">x</span>) 
        <span style="color:#000000">V</span> <span style="color:#981a1a">=</span> <span style="color:#000000">self</span>.<span style="color:#000000">v</span>(<span style="color:#000000">x</span>) 
        <span style="color:#000000">atten</span> <span style="color:#981a1a">=</span> <span style="color:#000000">torch</span>.<span style="color:#000000">bmm</span>(<span style="color:#000000">Q</span>, <span style="color:#000000">K</span>.<span style="color:#000000">permute</span>(<span style="color:#116644">0</span>, <span style="color:#116644">2</span>, <span style="color:#116644">1</span>)) <span style="color:#981a1a">*</span> <span style="color:#000000">self</span>.<span style="color:#000000">_norm_fact</span>  <span style="color:#000000">#</span> <span style="color:#000000">Q</span> <span style="color:#981a1a">*</span> <span style="color:#000000">K</span>.<span style="color:#000000">T</span>()
        <span style="color:#000000">atten</span> <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">Softmax</span>(<span style="color:#000000">dim</span><span style="color:#981a1a">=-</span><span style="color:#116644">1</span>)(<span style="color:#000000">atten</span>)
        <span style="color:#000000">output</span> <span style="color:#981a1a">=</span> <span style="color:#000000">torch</span>.<span style="color:#000000">bmm</span>(<span style="color:#000000">atten</span>, <span style="color:#000000">V</span>)  
        <span style="color:#770088">return</span> <span style="color:#000000">output</span>
​
​
<span style="color:#770088">class</span> <span style="color:#0000ff">BERT_BiLSTM_ATT_CRF</span>(<span style="color:#000000">nn</span>.<span style="color:#000000">Module</span>):
    <span style="color:#000000">def</span> <span style="color:#0000ff">__init__</span>(<span style="color:#000000">self</span>, <span style="color:#000000">bert_model</span>, <span style="color:#000000">hidden_dropout_prob</span>, <span style="color:#000000">num_labels</span>, <span style="color:#000000">hidden_dim</span><span style="color:#981a1a">=</span><span style="color:#116644">128</span>):
        <span style="color:#000000">super</span>(<span style="color:#000000">BERT_BiLSTM_ATT_CRF</span>, <span style="color:#000000">self</span>).<span style="color:#000000">__init__</span>()
        <span style="color:#000000">self</span>.<span style="color:#000000">bert</span> <span style="color:#981a1a">=</span> <span style="color:#000000">BertModel</span>.<span style="color:#000000">from_pretrained</span>(<span style="color:#000000">bert_model</span>)
        <span style="color:#000000">bert_config</span> <span style="color:#981a1a">=</span> <span style="color:#000000">BertConfig</span>.<span style="color:#000000">from_pretrained</span>(<span style="color:#000000">bert_model</span>)
        <span style="color:#000000">self</span>.<span style="color:#000000">dropout</span> <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">Dropout</span>(<span style="color:#000000">hidden_dropout_prob</span>)
​
        <span style="color:#000000">self</span>.<span style="color:#000000">bilstm</span> <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">LSTM</span>(<span style="color:#000000">input_size</span><span style="color:#981a1a">=</span><span style="color:#000000">bert_config</span>.<span style="color:#000000">hidden_size</span>, <span style="color:#000000">hidden_size</span><span style="color:#981a1a">=</span><span style="color:#000000">hidden_dim</span>, <span style="color:#000000">num_layers</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>, <span style="color:#000000">bidirectional</span><span style="color:#981a1a">=</span><span style="color:#000000">True</span>, <span style="color:#000000">batch_first</span><span style="color:#981a1a">=</span><span style="color:#000000">True</span>)
        <span style="color:#000000">out_dim</span> <span style="color:#981a1a">=</span> <span style="color:#000000">hidden_dim</span><span style="color:#981a1a">*</span> <span style="color:#116644">2</span>
​
        <span style="color:#000000">self</span>.<span style="color:#000000">hidden2tag</span> <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">Linear</span>(<span style="color:#000000">in_features</span><span style="color:#981a1a">=</span><span style="color:#000000">out_dim</span>, <span style="color:#000000">out_features</span><span style="color:#981a1a">=</span><span style="color:#000000">num_labels</span>)
        <span style="color:#000000">self</span>.<span style="color:#000000">attention</span> <span style="color:#981a1a">=</span> <span style="color:#000000">Self_Attention</span>(<span style="color:#116644">128</span>, <span style="color:#116644">128</span>, <span style="color:#116644">128</span>)
        <span style="color:#000000">self</span>.<span style="color:#000000">crf</span> <span style="color:#981a1a">=</span> <span style="color:#000000">CRF</span>(<span style="color:#000000">num_tags</span><span style="color:#981a1a">=</span><span style="color:#000000">num_labels</span>, <span style="color:#000000">batch_first</span><span style="color:#981a1a">=</span><span style="color:#000000">True</span>)
​
    <span style="color:#000000">def</span> <span style="color:#0000ff">forward</span>(<span style="color:#000000">self</span>, <span style="color:#000000">input_ids</span>, <span style="color:#000000">tags</span>, <span style="color:#000000">token_type_ids</span><span style="color:#981a1a">=</span><span style="color:#000000">None</span>, <span style="color:#000000">attention_mask</span><span style="color:#981a1a">=</span><span style="color:#000000">None</span>):
        <span style="color:#000000">outputs</span> <span style="color:#981a1a">=</span> <span style="color:#000000">self</span>.<span style="color:#000000">bert</span>(<span style="color:#000000">input_ids</span>, <span style="color:#000000">token_type_ids</span><span style="color:#981a1a">=</span><span style="color:#000000">token_type_ids</span>, <span style="color:#000000">attention_mask</span><span style="color:#981a1a">=</span><span style="color:#000000">attention_mask</span>)
        <span style="color:#000000">sequence_output</span> <span style="color:#981a1a">=</span> <span style="color:#000000">outputs</span>[<span style="color:#116644">0</span>]  
        <span style="color:#000000">sequence_output</span>, <span style="color:#000000">_</span> <span style="color:#981a1a">=</span> <span style="color:#000000">self</span>.<span style="color:#000000">bilstm</span>(<span style="color:#000000">sequence_output</span>)  
        <span style="color:#000000">sequence_output</span> <span style="color:#981a1a">=</span> <span style="color:#000000">self</span>.<span style="color:#000000">dropout</span>(<span style="color:#000000">sequence_output</span>)
        <span style="color:#000000">sequence_output</span> <span style="color:#981a1a">=</span> <span style="color:#000000">self</span>.<span style="color:#000000">attention</span>(<span style="color:#000000">sequence_output</span>)
        <span style="color:#000000">sequence_output</span> <span style="color:#981a1a">=</span> <span style="color:#000000">self</span>.<span style="color:#000000">hidden2tag</span>(<span style="color:#000000">sequence_output</span>) 
        <span style="color:#000000">outputs</span> <span style="color:#981a1a">=</span> <span style="color:#000000">self</span>.<span style="color:#000000">crf</span>(<span style="color:#000000">sequence_output</span> , <span style="color:#000000">tags</span>, <span style="color:#000000">mask</span><span style="color:#981a1a">=</span><span style="color:#000000">attention_mask</span>.<span style="color:#000000">byte</span>())
        
        <span style="color:#770088">return</span> <span style="color:#000000">outputs</span>
​</span></span>

LoRA结构

其中,为了优化模型的算法,在Bert的encoder模块加入了LoRA方法,使得模型的训练速度得到提高,训练效果得到提高。 原则上,可以将LoRA应用到神经网络中,以减少可训练参数的数量。在Transformer结构中,自注意力模块有四个权重矩阵(Wq,Wk,Wv,Wo)(W q​ ,W k​ ,W v​ ,W o​ ),MLP模块有两个权重矩阵。通常来说,将LoRA添加到WqW q​ 和WkW k 两个模块中,效果是比较好的。因此,在Q(query)和K(key)模块,插入LoRA层。

<span style="background-color:#f8f8f8"><span style="color:#333333">    <span style="color:#770088">for</span> <span style="color:#000000">layer</span> <span style="color:#770088">in</span> <span style="color:#000000">model</span>.<span style="color:#000000">bert</span>.<span style="color:#000000">encoder</span>.<span style="color:#000000">bert_layer_groups</span>:
        <span style="color:#000000">layer</span>.<span style="color:#000000">bert_layers</span>[<span style="color:#116644">0</span>].<span style="color:#000000">attention</span>.<span style="color:#000000">query</span> <span style="color:#981a1a">=</span> <span style="color:#000000">LinearLora</span>(<span style="color:#000000">layer</span>.<span style="color:#000000">bert_layers</span>[<span style="color:#116644">0</span>].<span style="color:#000000">attention</span>.<span style="color:#000000">query</span>,<span style="color:#000000">rank</span><span style="color:#981a1a">=</span><span style="color:#116644">8</span>,<span style="color:#000000">alpha</span><span style="color:#981a1a">=</span><span style="color:#116644">16</span>)
        <span style="color:#000000">layer</span>.<span style="color:#000000">bert_layers</span>[<span style="color:#116644">0</span>].<span style="color:#000000">attention</span>.<span style="color:#000000">key</span> <span style="color:#981a1a">=</span> <span style="color:#000000">LinearLora</span>(<span style="color:#000000">layer</span>.<span style="color:#000000">bert_layers</span>[<span style="color:#116644">0</span>].<span style="color:#000000">attention</span>.<span style="color:#000000">key</span>,<span style="color:#000000">rank</span><span style="color:#981a1a">=</span><span style="color:#116644">8</span>,<span style="color:#000000">alpha</span><span style="color:#981a1a">=</span><span style="color:#116644">16</span>)
       
    <span style="color:#000000">model</span>.<span style="color:#000000">to</span>(<span style="color:#000000">device</span>)
​</span></span>

实现方式

首先下载Bert预训练模型,然后收集自己要训练的数据集,放入文件中,修改源码中的路径名称。

运行train.py函数,开始训练,可以自行调整训练中的epoch等参数,其中训练的时候会调用测试函数进行输出。

演示效果

运行train.py函数,可以看到模型开始训练,在模型训练结束后,会根据测试集的结果生成测试的结果

<span style="background-color:#f8f8f8"><span style="color:#333333">           <span style="color:#000000">precision</span>    <span style="color:#000000">recall</span>  <span style="color:#000000">f1</span><span style="color:#981a1a">-</span><span style="color:#000000">score</span>   <span style="color:#000000">support</span>
    <span style="color:#000000">B</span><span style="color:#981a1a">-</span><span style="color:#000000">LOC</span>     <span style="color:#116644">0.9257</span>    <span style="color:#116644">0.8245</span>    <span style="color:#116644">0.8721</span>      <span style="color:#116644">2871</span>
    <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">LOC</span>     <span style="color:#116644">0.8894</span>    <span style="color:#116644">0.8796</span>    <span style="color:#116644">0.8845</span>      <span style="color:#116644">4370</span>
    <span style="color:#000000">B</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span>     <span style="color:#116644">0.8625</span>    <span style="color:#116644">0.7800</span>    <span style="color:#116644">0.8192</span>      <span style="color:#116644">1327</span>
    <span style="color:#000000">B</span><span style="color:#981a1a">-</span><span style="color:#000000">PER</span>     <span style="color:#116644">0.9513</span>    <span style="color:#116644">0.9021</span>    <span style="color:#116644">0.9261</span>      <span style="color:#116644">1972</span>
    <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">PER</span>     <span style="color:#116644">0.9254</span>    <span style="color:#116644">0.9521</span>    <span style="color:#116644">0.9386</span>      <span style="color:#116644">3845</span>
        <span style="color:#000000">O</span>     <span style="color:#116644">0.9913</span>    <span style="color:#116644">0.9917</span>    <span style="color:#116644">0.9915</span>    <span style="color:#116644">150935</span>
    <span style="color:#000000">I</span><span style="color:#981a1a">-</span><span style="color:#000000">ORG</span>     <span style="color:#116644">0.8631</span>    <span style="color:#116644">0.9255</span>    <span style="color:#116644">0.8932</span>      <span style="color:#116644">5640</span>
<span style="color:#000000">avg</span><span style="color:#981a1a">/</span><span style="color:#000000">total</span>     <span style="color:#116644">0.9804</span>    <span style="color:#116644">0.9803</span>    <span style="color:#116644">0.9802</span>    <span style="color:#116644">170960</span></span></span>

运行demo.py可以根据输入的句子,进行实体识别,例如:

<span style="background-color:#f8f8f8"><span style="color:#333333"><span style="color:#000000">sentence</span> <span style="color:#981a1a">=</span> <span style="color:#aa1111">"在 唐 胜 利 康 复 回 乡 前 一 天 , 北 京 博 爱 医 院 院 长 吴 弦 光 代 表 医 院 向 唐 胜 利 及 其 父 亲 赠 送 编 织 机 。"</span>
<span style="color:#000000">output</span> <span style="color:#981a1a">=</span>[[<span style="color:#aa1111">'<START>'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'B-PER'</span>, <span style="color:#aa1111">'I-PER'</span>, <span style="color:#aa1111">'I-PER'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'B-LOC'</span>, <span style="color:#aa1111">'B-ORG'</span>, <span style="color:#aa1111">'B-ORG'</span>, <span style="color:#aa1111">'B-ORG'</span>, <span style="color:#aa1111">'B-ORG'</span>, <span style="color:#aa1111">'B-ORG'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'B-PER'</span>, <span style="color:#aa1111">'I-ORG'</span>, <span style="color:#aa1111">'I-ORG'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'B-LOC'</span>, <span style="color:#aa1111">'B-ORG'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'B-PER'</span>, <span style="color:#aa1111">'I-PER'</span>, <span style="color:#aa1111">'I-PER'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'O'</span>, <span style="color:#aa1111">'<END>'</span>]]
​</span></span>

可以看出,模型能识别句子中的实体,并按照BIO标注返回结果

  • 本文所有资源均可在该地址处获取:地址

 ​​

希望对你有帮助!加油!

若您认为本文内容有益,请不吝赐予赞同并订阅,以便持续接收有价值的信息。衷心感谢您的关注和支持!

最新最全-中文生物医学命名实体识别最新研究论文、资源、数据集、性能 本资源旨在跟踪中文生物医学自然语言处理的进展,收集整理相关的论文列表和展示现存方法性能。 内容整理自网络,源地址:https://github.com/lingluodlut/Chinese-BioNLP 中文电子病历命名实体识别 中文电子病历命名实体识别(Chinese Clinical Named Entity Recognition, Chinese-CNER)任务目标是从给定的电子病历纯文本文档中识别并抽取出与医学临床相关的实体提及,并将它们归类到预定义... 阅读详情

相关推荐

摘自命名实体识别类论文

一、简介 1995年命名实体识别由第六届消息理解会议第一次引入,主要任务是自动识别出文本中出现的命名性指称和有意义的数量短语并加以归类,包括三大类(实体类、时间类、数字类)、七小类(人名、地名、机构名、时间、日期、货币、和百分比),其中时间、日期、货币和百分比的构成有明显的规律,相对容易识别和分类,因此主要针对人名、地名、机构名这三类命名实体开展研究工作。 1、命名实体识别在信息抽取中的作用

虾米的博客 4539

论文阅读 - 《BERT-BiLSTM-CRF Chinese Resume Named Entity Recognition Combining Attention Mechanisms》

本文提出了一个中文简历命名实体识别的新模型,该模型结合了BERT、BiLSTM、CRF和注意力机制。模型首先使用BERT对文本进行字符级别的编码,获取动态词向量。然后,BiLSTM网络用于提取文本的全局语义特征。为了更准确地识别关键特征,模型引入了注意力机制来分配权重。最后,CRF用于确定命名实体的最优标记序列。实验结果显示,这种结合了多种技术的模型在中文简历的命名实体识别任务上表现优异。中文简历实体识别、注意力机制、BERT、BiLSTM、CRF。

qq_38146189的博客 3152

命名实体识别、关系抽取相关论文

之前学习这个领域时网上找的几篇讲实现比较详细的论文(国内的),应该不算侵权吧…… 基于SVM和TSVM的中文实体关系抽取 基于条件随机域模型的中文实体关系抽取 基于正反例训练的SVM命名实体关系抽取 信息抽取中实体关系识别研究 中文命名实体识别及其关系抽取研究 (其中一个可能需要CAJViewer打开,传送门http://www.cnki.net/software/xzydq.htm)

⌈ 传知代码 ⌋ 命名实体识别

实体识别任务(Named Entity Recognition,简称NER)是自然语言处理(NLP)中的一个基本任务,旨在从文本中识别和分类命名实体。命名实体通常包括专有名词,如人名、地名、组织名等。下图展示了一个简单的实体抽取任务,在句子中抽取出来阿里巴巴(组织名)、马云(人名)和杭州(地名)三个实体。本文的工作启发于论文BERT-BiLSTM-CRF Chinese Resume Named Entity Recognition Combining Attention Mechanisms技术方法。

Dream_Y.ocean的博客 1292

中文命名实体识别论文笔记

《Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-Attention Mechanism》论文笔记

微生物组β-多样性——PCoA分析及可视化

让你的数据映入眼帘

qq_47369980的博客 1万+

猿创征文|信息抽取(2)——pytorch实现Bert-BiLSTM-CRF、Bert-CRF模型进行实体抽取

猿创征文|信息抽取(2)——pytorch实现Bert-BiLSTM-CRF、Bert-CRF模型进行实体抽取

m0_46275020的博客 9327

PTA 7-8 暴力小学(二年级篇)-求出4个数字 (10分)java

PTA 7-8 暴力小学(二年级篇)-求出4个数字 (10分)java 小博是新城小学二年级学生,这孩子人很老实,数学、语文成绩都是中等。不过一旦坐在电脑前,写起代码来,则有些霸气侧漏,尤其擅长各种暴力方法。本题就是数学莫老师的题目之一,请你和小博一起暴力求解吧。 输入格式: 第一行给出这个和N(图中例子的和N为2000)。 输出格式: 第一行输出所有解的数目K,随后K行按照DCBA 4位数字从...

qryzhfj的博客 2193

论文阅读:BiLSTM-CRF实现序列标注

论文名称:《Bidirectional LSTM-CRF Models for Sequence Tagging》 论文地址:https://arxiv.org/pdf/1508.01991v1.pdf 相关代码:https://github.com/BrikerMan/Kashgari(Keras) 《Bidirectional LSTM-CRF Models for Sequence Tagging》是Baidu Research在2015年发表的一篇论文,它使用双向长短期记忆网络LSTM加条件随机场

谢彦的技术博客 2392

创龙 瑞芯微 RK3588 国产工业开发板—Qt交叉编译环境搭建与GPU图形渲染实战

本文详细介绍了在创龙RK3588国产工业开发板上搭建Qt交叉编译环境并利用GPU进行图形渲染的完整实战流程。文章从环境准备入手,讲解了交叉编译工具链的配置,并提供了命令行与Qt Creator两种编译方法。通过部署运行和自启动设置,确保程序在板卡上稳定运行。最后,通过OpenGL案例实战,展示了如何调用RK3588的GPU进行高效图形渲染,释放其图形处理潜力,适用于工业HMI、智能终端等高要求图形界面开发。

weixin_28278377的博客 451

别再死记硬背Payload了!深入理解Flask/Jinja2 SSTI的Python对象继承链与魔术方法

本文深入解析Flask/Jinja2 SSTI漏洞的底层原理,从Python对象模型出发,详细讲解如何通过魔术方法链实现RCE。文章揭示了Python对象继承链与魔术方法的精妙设计,提供了防御与绕过SSTI漏洞的实用技巧,帮助开发者深入理解漏洞本质并采取有效防护措施。

weixin_42525738的博客 356

【论文笔记】命名实体识别论文

写在前面 其实实体识别这块看了挺久了的,今天就来好好聊一聊它。实体识别(Name Entity Recognition)是属于NLP任务中的序列标注问题:给定一个输入句子,要求为句子中的每一个token做实体标注(如人名、组织/机构、地名、日期等等)。 NER算法回顾 明白了NER任务的目的,那我们就来看看具体是怎么实现的。到目前为止,可以大致分为基于规则、基于传统机器学习方法和基于深度学习方法...

Kaiyuan_sjtu的博客 9162

【车间调度】车间调度问题的分类

本系列为自己学习调度相关知识的记录,如有误请指出,也欢迎调度方向的小伙伴加我好友共同交流。 车间调度问题的分类 根据工件和车间构成不同,车间调度问题可分为以下几种 1.单机调度问题 在单机调度问题(S,SMP)中,加工系统只有一台机床,待加工的工件有且仅有一道工序,所有工件都在该机床上进行加工。此问题是最简单的调度问题,当生产车间出现瓶颈机床时的调度就可视为此调度问题。 ...

weixin_51656605的博客 7433

2021ACL 命名实体识别论文汇总

2021 ACL已接受论文网址:https://2021.aclweb.org/program/accept/ 命名实体识别论文汇总: 1、Named Entity Recognition with Small Strongly Labeled and Large Weakly Labeled Data 论文链接:https://arxiv.org/abs/2106.08977 2、Locate and Label: A Two-stage Identifier for Nested Named E

Conan的博客 5870

【大二组培训】2017年电子设计大赛H题总结(软件部分)

文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结 前言 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 一、pandas是什么? 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下(示例): import numpy as np import pandas as pd import matplotlib.pyplot as plt im

HAIBARA的博客 3024

基于深度确定性策略梯度的永磁同步电机强化学习控制方法

本文提出了一种基于深度确定性策略梯度(DDPG)的永磁同步电机(PMSM)电流内环智能控制方法。首先建立了PMSM在d-q坐标系下的数学模型,分析了传统矢量控制双闭环系统中PI控制器的局限性。针对电流内环控制问题,设计了包含电流跟踪误差、转速信息和历史控制量的状态空间,将电压输出作为动作空间,并构建了兼顾跟踪精度和响应速度的奖励函数。通过DDPG算法训练智能体,使其能够自适应调整控制策略。仿真结果表明,与固定参数的PI控制器相比,DDPG控制器在动态响应速度和抗干扰能力方面具有明显优势,为PMSM高性能控制

huanghm88的专栏 104

【论文笔记】《基于深度学习的中文命名实体识别研究》阅读笔记

作者及其单位:北京邮电大学,张俊遥,2019年6月,硕士论文 摘要 实验数据:来源于网络公开的新闻文本数据;用随机欠采样和过采样的方法解决分类不均衡问题;使用BIO格式的标签识别5类命名实体,标注11种标签。 学习模型:基于RNN-CRF框架,提出Bi-GRU-Attention模型;基于改进的ELMo可移植模型。 一,绪论 1,研究背景及意义 研究背景主要介绍的是时代背景及NER的...

天堂的鸽子 2789

基于STM32L4XX、HAL库的MMA8452QR1姿态传感器驱动程序设计

/ HAL库需要左移1位。#define MMA8452Q_I2C_ADDRESS 0x1D // SA0=1时的地址。* @param range: 量程(MMA8452Q_RANGE_2G/4G/8G)* @param haccel: MMA8452Q句柄。* @param haccel: MMA8452Q句柄。* @param haccel: MMA8452Q句柄。* @param haccel: MMA8452Q句柄。* @param haccel: MMA8452Q句柄。

zhusl6688的博客 782

【小样本命名实体识别】COPNER论文源码详解

COPNER: Contrastive Learning with Prompt Guiding for Few-shot Named Entity Recognition 论文源码分析

敷衍zgf的博客 1575

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

命名实体识别_命名实体识别NER论文调研

最近更新:命名实体识别之再调研!!!阿力阿哩哩:命名实体识别之再调研​zhuanlan.zhihu.comNLP目录阿力阿哩哩:NLP目录​zhuanlan.zhihu.com因为NER任务与笔者之前做的CCF互联网金融新实体识别竞赛相关所以这两个月也调研了一些NER的算法,这两年的NER算法思想主要集中在将词典信息融入训练过程,达到减少中文语义歧义的效果。当前竞赛NER任务的baseline: ...

weixin_39706491的博客 259

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

【小样本命名实体识别】FEW-NERD论文源码详解

小样本命名实体识别Few-NERD论文源码解读

敷衍zgf的博客 1737

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

【论文笔记】命名实体识别(NER)论文整理

Bidirectional LSTM-CRF Models for Sequence Tagging论文链接:https://arxiv.org/abs/1508.01991这篇文章比较了NLP几个经典任务:词性标注,命名实体识别上的模型,包括CRF,LSTM,Bi-LSTM,LSTM-CRF,Bi-LSTM-CRF,Bi-LSTM-CRF在这几个任务上取得了最好的准确度和健壮性,对词语特征工程的...

theoreoeater的博客 7961

今晚直播 | SemEval 2023最佳论文:针对命名实体识别的统一检索增强方法

学术直播间 第 6期论文原作解读✔️在线实时Q&A✔️直播主题针对命名实体识别的统一检索增强方法直播嘉宾黄申阿里达摩院高级算法工程师直播时间2023年9月26日(周二)20:00-20:30观看方式扫码下方二维码进入直播间观看▼报告介绍本论文为全球最大的语义评测大会SemEval 2023的最佳论文。为了解决多语言命名实体识别中的语义歧义和低上下文问题,现有方法普...

Paper weekly 348

入门必备!生物医学命名实体识别(BioNER)最全论文清单,附SOTA结果汇总

作者丨罗凌学校丨大连理工大学博士研究方向丨深度学习、文本分类本人将之前整理的一些生物医学命名实体识别相关的论文做了一个 BioNER Progress 放在了 Githu...

Paper weekly 4927

直播预告 | SemEval 2023最佳论文:针对命名实体识别的统一检索增强方法

学术直播间 第 6期论文原作解读✔️在线实时Q&A✔️直播主题针对命名实体识别的统一检索增强方法直播嘉宾黄申阿里达摩院高级算法工程师直播时间2023年9月26日(周二)20:00-20:30观看方式扫码下方二维码进入直播间观看▼报告介绍本论文为全球最大的语义评测大会SemEval 2023的最佳论文。为了解决多语言命名实体识别中的语义歧义和低上下文问题,现有方法普...

Paper weekly 355
上一篇: 让机器来洞察他的内心!
下一篇: 揭秘AI如何揪出图片中的“李鬼”
Srlua小谢
Srlua小谢 优质创作者: 编程框架技术领域 优质创作者: 编程框架技术领域
博客等级 码龄4年 8963粉丝 332原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值