初识NER及其应用NER-BILSTM-CNN

已于 2022-03-30 18:24:57 修改
阅读量2.4k 收藏 15
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度学习 自然语言处理NLP 文章标签： 机器学习 人工智能 深度学习 自然语言处理
于 2021-01-08 17:32:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012744245/article/details/112373669

文章目录

Named Entity Recognition

1. NER

1.1 NER定义

命名实体识别（NER）：

也称为实体识别、实体分块和实体提取，是信息提取的一个子任务，旨在将文本中的命名实体定位并分类为预先定义的类别，如人员、组织、位置、时间表达式、数量、货币值、百分比等。

在这里插入图片描述

1.2 数据格式

NER是一种序列标注问题，因此他们的数据标注方式也遵照序列标注问题的方式，主要是BIO和BIOES两种。

1.2.1 BIO
1.2.2 BIOES

在这里插入图片描述

1.3 开源库

常用的NER工具推荐：

  • LTP：适合中文分词、NER
  • Spacy：多适用于英文
  • StanfordNER
开源库介绍安装官网
Stanford NER斯坦福大学开发的基于条件随机场的命名实体识别系统，该系统参数是基于CoNLL、MUC-6、MUC-7和ACE命名实体语料训练出来的。pip install stanfordcorenlp官网 | Github
SpaCy工业级的自然语言处理工具，遗憾的是不支持中文。pip install spaCy官网| Github
NLTKNLTK是一个高效的Python构建的平台,用来处理人类自然语言数据。pip install nltk官网 | Github
HanlpHanLP是一系列模型与算法组成的NLP工具包，由大快搜索主导并完全开源，目标是普及自然语言处理在生产环境中的应用。支持命名实体识别。pip install pyhanlp官网 | Github
LTPLTP提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。pip install pyltp官网 | Github

1.4 相关数据集

数据集简要说明访问地址
中文电子病历CCKS2017开放的中文的电子病例测评相关的数据CCKS2017测评1 | CCKS2017测评2
音乐领域CCKS2018开放的音乐领域的实体识别任务CCKS2018
口语理解NLPCC2018开放的任务型对话系统中的口语理解评测NLPCC
(CoNLL 2002)Annotated Corpus for Named Entity Recognition这是来自GMB语料库的摘录，用于训练分类器以预测命名实体，例如姓名，位置等。Kaggle

1.5 方法

在这里插入图片描述

阶段 1：早期的方法，如：基于规则的方法、基于字典的方法

阶段 2：传统机器学习，如：HMM、MEMM、CRF

阶段 3：深度学习的方法，如：RNN – CRF、CNN – CRF

阶段 4：近期新出现的一些方法，如：注意力模型、迁移学习、半监督学习的方法

2. BILSTM

在这里插入图片描述

2.1 BILSTM classify

对于分类任务，例如情感分类，采用的句子表示是 [ h L 2 , h R 2 ] [h_{L_2},h_{R_2}] [hL2​​,hR2​​]，其包含了前向与后向的所有信息。BILSTM对前向和后向的LSTM的最后一个state的隐藏信息进行拼接。

在这里插入图片描述

2.2 BILSTM seq encode

序列编码任务，对“我爱中国”句子进行编码，模型如下所示。BILSTM的每个state的前向和后向隐藏信息进行拼接。

在这里插入图片描述

在这里插入图片描述

3. NER应用：NER-BILSTM-CNN

论文： Named Entity Recognition with Bidirectional LSTM-CNNs

论文复现（Github）：https://github.com/kamalkraj/Named-Entity-Recognition-with-Bidirectional-LSTM-CNNs

在这里插入图片描述

论文处理的是英文，是在CONLL2003 的数据集上针对NER任务提出的一项新模型。主要是将字符级别的特征经过CNN和词级别的特征进行concat之后经过双向LSTM进行NER预测。

这样能够更好的利用到前缀后缀之类的字符级特征。而且可以减少人工构造特征的工作。

论文的一个重点工作是特征融合工作，核心的特征包括Word Embedding，Character Embedding，Additional features。而Additional features即在字符级特征和词级别特征上加一些人工特征，包括additional word features和additional character features。比如将词可以分为6类，包括全是大写字母，全是小写字母，全是数字，部分数字等等。

additional word features包括：

  • Capitalization Feature ：因为Word Embedding时全部小写，所以构造了一系列特征来判断词的类别。例如：全大写，全小写，部分大写，全数字，部分数字等。
  • Lexicon features ：加入了词典模板匹配模块。针对数据集，使用精确匹配的词典。

additional character features包括：一个用于输出一个四维向量的查找表，四维向量表示四个类型（大写、小写、标点、其他）。

论文Figure 1中，还要将双向LSTM前向和后向经过softmax得到的分值相加来判断类别。

在这里插入图片描述

4. NER应用：BERT-NER

Github： https://github.com/kamalkraj/BERT-NER

Github：https://github.com/xuanzebi/BERT-CH-NER

在这里插入图片描述

5. 总结

  1. 做NER需要分词吗？

    可以做分词也可以不做分词。如果分词：可能存在分词错误，模型的效果也会有受影响。不分词，即按字符进行，可以结合CNN对字符级别信息做抽取。

  2. 在中文电子病历的NER任务，特征工程还可以考虑的方面？

    分词，对词级别信息进行RNN；不分词，对字符进行CNN；构造特征：拆分偏旁部首（例如“腹”–>“月，复”，“肺”–>“月，市”等），重新编码表示；构造特征：根据拼音来统计。

6. 参考

一文看懂命名实体识别

Named Entity Recognition with Bidirectional LSTM-CNNs论文阅读

论文翻译及理解

字符级NLP优劣分析：在某些场景中比词向量更好用

详解BiLSTM及代码实现

欢迎各位关注我的个人公众号：HsuDan，我将分享更多自己的学习心得、避坑总结、面试经验、AI最新技术资讯。

中文命名实体识别ner数据_resume_bio格式
10-25
中文命名实体识别ner数据_resume_bio格式 已经清理干净，放心下载，直接可以用各种ner模型训练
【笔记】BiLstm+CNN
nyist_yangguang的博客
03-24 3443
参考笔记： CNN-LSTM模型 运行环境：python3.6.5 、Keras2.1.5 、tensorflow 2.3.1等 CNN-LSTM的Sequential()写法： from keras.models import Sequential from keras.layers import Dense, Dropout, Activation from keras.layers import Convolution1D, MaxPooling1D from keras.layers...
NER中文命名实体识别数据集：赋能自然语言处理，打造卓越中文识别体验
最新发布
gitblog_06753的博客
05-26 515
NER中文命名实体识别数据集：赋能自然语言处理，打造卓越中文识别体验 【下载地址】NER中文命名实体识别数据集 中文命名实体识别数据集为中文自然语言处理领域提供了宝贵的资源，特别适合研究人员和开发者使用。该数据集涵盖组织、机构和人物三大实体类别，数据经过严格筛选和标注，确保高质量。其格式简洁，易于处理和导入，能够为您的项...
BiLSTM+CNN实现NER
Geek
04-13 1562
基于matlab的卷积神经网络结合双向长短期记忆神经网络CNN-BILSTM的Adaboost回归预测
matlab_dingdang的博客
11-29 524
在当今大数据时代，数据的处理和分析变得越来越重要。预测分析是其中一项关键任务，它可以帮助企业和组织做出更明智的决策。在预测分析中，机器学习算法扮演着重要的角色，它们可以利用历史数据来预测未来的趋势和结果。在本文中，我们将讨论基于卷积神经网络（CNN）结合双向长短期记忆神经网络（BILSTM）的Adaboost回归预测模型。卷积神经网络是一种在图像识别和语音识别等领域表现出色的深度学习模型。它通过卷积层和池化层来提取输入数据中的特征，并且可以有效地处理具有空间结构的数据。
【LSTM分类】基于卷积神经网络结合长短时记忆LSTM实现柴油机故障诊断含Matlab源码
qq_59747472的博客
03-30 1138
故障诊断在工业生产中至关重要，能够及时发现设备故障，避免重大经济损失和安全事故。随着工业4.0时代的到来，数据采集和处理技术不断发展，为故障诊断提供了大量的数据基础。深度学习技术在故障诊断领域展现出强大的潜力，特别是卷积神经网络（CNN）和长短时记忆（LSTM）网络的结合。CNN-LSTM模型CNN-LSTM模型是一种深度学习模型，结合了CNN和LSTM的优点。CNN能够提取图像或信号中的空间特征，而LSTM能够捕捉时间序列中的长期依赖关系。因此，CNN-LSTM模型非常适合处理故障诊断中的时序数据。
基于Pytorch的BERT-IDCNN-BILSTM-CRF中文实体识别实现
05-20
基于Pytorch的BERT-IDCNN-BILSTM-CRF中文实体识别实现 模型训练（可选） 下载pytorch_model.bin到data/bert 下载训练集和测试集到data/ 检查配置constants.py 执行train.py，命令为 python train.py 中文命名实体...
An Attention-Based BiLSTM-CRF Model for Chinese Clinic NER
04-27
An Attention-Based BiLSTM-CRF Model for Chinese Clinic Named Entity Recognition；基于注意力的 BiLSTM-CRF 模型 中国门诊病历文本命名实体识别
NER命名实体识别代码-BiLSTM+CRF
03-12
下载即可运行 1、data文件夹（数据） 2、bilstm_crf_model.py（模型） 3、process_data.py（数据预处理文件） 4、train.py（模型训练文件） 5、val.py（测试文件） 6、model.png（模型结构图）
人工智能NER作业-基于BiLSTM+CRF实现命名实体识别python源码+数据+实验报告.zip
12-29
人工智能NER作业-基于BiLSTM+CRF实现命名实体识别python源码+数据+实验报告.zip人工智能NER作业-基于BiLSTM+CRF实现命名实体识别python源码+数据+实验报告.zip人工智能NER作业-基于BiLSTM+CRF实现命名实体识别python...
基于pytorch实现的bert-bilstm-crf-ner命名实体识别源码+数据集+项目说明.zip
10-13
本项目是一个基于PyTorch框架实现的BERT-BiLSTM-CRF模型用于NER任务的完整项目。它不仅提供了训练和推理的源码，还包括了一个专门用于训练的NER数据集以及详细的项目说明文档，为使用者提供了从零开始构建和训练命名...
NER中文命名实体识别数据集
07-05
中文命名实体识别数据集，很好用。包括组织，机构和人物三个实体。
NER_bLSTM-CRF:具有ConLL-2002数据集的NER的LSTM-CRF
05-14
CRF，bi-LSTM-CRF用于命名实体识别 这是使用各种CRF解决方案进行命名实体识别的概念证明。 此处的演示使用全小写的文本，以便在不提供案例信息的文本上模拟NER（例如自动语音识别输出） 2018年6月8日更新： 现在，训练/测试拆分在各个模型中是一致的 对两个模型都使用pycrfsuite报告 为pycrfsuite代码添加了MIT许可证 删除了不需要的/未分发的代码，调整了要求 扩展评论 增加结果 要求 gensim keras keras-contrib tensorflow numpy pandas python-crfsuite 运行功能设计的CRFsuite CRF： 运行data-preprocessing.ipynb以生成格式化的模型数据 运行pycrfsuite-training.ipynb以适合模型 有关示例输出，请参见results/pyCRF-samp
回归预测 | MATLAB实现CNN-BiLSTM(卷积双向长短期记忆神经网络)多输入单输出
热门推荐
机器学习之心的博客，关注并私信文章链接，获取对应文章源码和数据。
10-13 1万+
回归预测 | MATLAB实现CNN-BiLSTM(卷积双向长短期记忆神经网络)多输入单输出
NER数据格式转化及数据集划分
tyler的博客
04-23 2847
记录一次做NER时的数据格式转换过程： 1、将BMEWO–>BMESO–>BIOES 2、将数据集按8：1：1划分为train、dev、test 数据集划分方法借鉴：https://blog.youkuaiyun.com/allan2222/article/details/99672868 import random def split(all_list, shuffle=False, ...
通用信息抽取数据集Viscacha-Chinese-IE——NER数据集篇
HERODING23的博客
07-08 1384
最近在做和大模型通用抽取相关的任务，需要将所有数据集转换为相同的格式，便于构建指令微调数据集。在处理数据时需要将不同格式的NER数据集转换为方便处理的json格式数据，这是一项非常繁杂的工作。在NER领域，没有一个统一的格式规范，博主收集了近30份NER数据集，总结出常见的NER数据集格式包括BIO、BIEO、excel格式的BIO、数据标签分离、内嵌式json等，每种格式可能只有两三个数据集，如果单独为其进行编码需要耗费不少精力，拖慢工作进度。
NER数据集转换
weixin_45401410的博客
05-30 442
{"id": "BIO0", "text": ["记", "得", "小", "时", "候", "，", "妈", "妈", "说", "起", "哪", "个", "典", "型", "败", "家", "子", "形", "象", "，", "挂", "在", "嘴", "边", "的", "就", "是", "那", "人", "吃", "喝", "嫖", "赌", "瘾", "五", "毒", "俱", "全", "。2.转换后的数据集格式。
两种NER数据集读取
Deeachain的博客
06-27 771
'''处理数据集''' # with open('train_data.txt', 'r') as f: # train_x = f.readlines() # with open('train_label.txt', 'r') as f: # train_y = f.readlines() # # with open('data.txt', 'w') as f: # for index_x, x in enumerate(train_x): # for index_
NER命名实体识别用户手册
Ice_Times的博客
06-21 363
目录 1引言 1.1编写目的 1.2参考资料 2 软件概述 2.1 软件开发目的 2.2 基本原理 2.3 基本功能 2.4软件运行 2.5系统配置 3.软件使用过程 1.软件安装 2.运行说明 ​3.输入方式 4.软件维护过程 1.出错及纠正方法 2.源程序清单 1引言 1.1编写目的 　　编写本使用说明的目的是充分叙述本软件所能实现的功能及其运行环境，以便使用者了解本软件的使用范围和使用方法！ 1.2参考资料 Flask 官方文档 Tenso...
BERT-BiLSTM-CRF-NER 推理
03-30
### 实现 BERT-BiLSTM-CRF 的推理过程 为了完成基于 BERT-BiLSTM-CRF 模型的命名实体识别（NER）任务的推理，可以按照以下方式构建流程： #### 1. 数据准备与预处理 在进行推理之前，需要将输入文本转换为模型可接受的形式。这通常涉及分词、编码以及张量化操作。 - **分词**：利用 `transformers` 库中的 `BertTokenizer` 对输入文本进行分词并转化为 token ID 列表。 - **填充与截断**：确保所有输入序列长度一致，通过填充或截断到固定的最大长度。 - **注意力掩码**：生成注意力掩码以区分有效 token 和填充部分。 以下是数据预处理的一个简单示例代码： ```python from transformers import BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-chinese') text = "李华去了北京大学" tokens = tokenizer.tokenize(text) input_ids = tokenizer.convert_tokens_to_ids(tokens) # 添加特殊标记 [CLS] 和 [SEP] input_ids = [tokenizer.cls_token_id] + input_ids + [tokenizer.sep_token_id] attention_mask = [1] * len(input_ids) # 填充至最大长度 (假设 max_length=10) max_length = 10 padding_length = max_length - len(input_ids) input_ids += [tokenizer.pad_token_id] * padding_length attention_mask += [0] * padding_length ``` 此步骤中使用的 `BertTokenizer` 是由 Hugging Face 提供的标准工具[^2]。 --- #### 2. 加载已训练好的模型 加载经过微调后的 BERT-BiLSTM-CRF 模型权重文件，并将其设置为评估模式。 - **模型定义**：结合 PyTorch 定义一个包含 BERT 层、BiLSTM 层和 CRF 解码器的网络结构。 - **权重加载**：从保存的 `.pt` 或 `.pth` 文件恢复模型参数。 下面是一个简单的模型加载代码片段： ```python import torch from model import BertBiLstmCrfModel # 自定义模型类 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model_path = "./saved_model/best.pth" model = BertBiLstmCrfModel(bert_dir="bert-base-chinese", num_labels=len(label_map)) model.load_state_dict(torch.load(model_path, map_location=device)) model.to(device) model.eval() ``` 上述代码依赖于自定义模块 `BertBiLstmCrfModel`，其具体实现可以在开源项目中找到[^3]。 --- #### 3. 推理阶段的具体执行 给定一条新的待预测样本，依次传递给模型各组件完成前向传播计算。 - **BERT 编码层**：提取上下文敏感的 word embedding 表征； - **BiLSTM 处理**：捕捉序列间的长期依赖关系； - **CRF 解码**：依据转移概率矩阵选出最优标签路径。 最终返回的结果即为目标实体类别列表。 下面是完整的推理逻辑展示： ```python def predict(text, model, tokenizer, label_map): tokens = tokenizer.tokenize(text) input_ids = tokenizer.convert_tokens_to_ids(["[CLS]"] + tokens + ["[SEP]"]) attention_mask = [1] * len(input_ids) max_len = 50 pad_len = max_len - len(input_ids) input_ids += [0] * pad_len attention_mask += [0] * pad_len inputs = { 'input_ids': torch.tensor([input_ids], dtype=torch.long).to(device), 'attention_mask': torch.tensor([attention_mask], dtype=torch.long).to(device) } with torch.no_grad(): logits, _ = model(**inputs) # 获取原始分数 preds = model.crf.decode(logits)[0] # 调用 CRF decode 方法得到最佳路径 labels = [label_map[i] for i in preds[:len(tokens)+2]] # 映射回真实标签名称 return list(zip(["[CLS]"] + tokens + ["[SEP]"], labels)) result = predict("李华去了北京大学", model, tokenizer, {v:k for k,v in label_map.items()}) print(result) ``` 注意这里假定了存在一个映射字典 `label_map` 将整数索引对应到实际语义标签上[^1]。 --- #### 总结 综上所述，借助 PyTorch 可轻松搭建起一套支持中文环境下的高性能 NER 系统框架——BERT-BiLSTM-CRF 结构。该方案融合了强大的语言理解能力与灵活的时间维度特征挖掘手段，在诸多场景下表现出色。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值