bert+crf可以做NER，那么为什么还有bert+bi-lstm+crf ?

最新推荐文章于 2025-01-14 12:51:56 发布
转载 最新推荐文章于 2025-01-14 12:51:56 发布 · 1.2k 阅读 · 4 ·
CC 4.0 BY-SA版权
原文链接：https://www.zhihu.com/question/398672104

本文探讨了BERT在特定领域数据集的人工标注任务中的应用效果。实验表明，使用BERT模型能够显著提升标注质量，即使仅结合简单的softmax层也优于传统的BiLSTM+CRF模型。进一步地，BERT与CRF的组合表现出了与BERT+BiLSTM+CRF相当甚至更好的性能。

我在自己人工标注的一份特定领域的数据集上跑过，加上bert确实会比只用固定的词向量要好一些，即使只用BERT加一个softmax层都比不用bert的bilstm+crf强。而bert+bilstm+crf和bert+crf两者差别不大，甚至有时不加bilstm比加上效果要好，在调整学习率取最优结果的情况下，加上bilstm的稍好一点。


https://www.zhihu.com/question/398672104/answer/1263180722
 

https://www.zhihu.com/question/398672104

Quality-Estimation2 (翻译质量评价-在BERT模型后面加上Bi-LSTM进行fine-tuning)
涛涛不绝蕾蕾于冬
03-12 2706
简介 翻译质量评价（Quality Estimation,QE）是机器翻译领域中的一个子任务，大致可分为 Sentence-level QE，Word-level QE，Phrase-level QE，详情可参考WMT(workshop machine translation)比赛官网 http://www.statmt.org/wmt17/quality-estimation-task.html...
实体识别（一）几种NER深度学习模型效果对比IDCNN+BERT+BiLISTM+CRF
ai_1046067944的专栏
01-31 1万+
纯实现上对比几种NER深度学习模型效果（有不严谨的地方：数据集、模型规模等），代码来源于Github上大神的贡献。 实现上有三种模型 对比 模型 IDCNN+CRF BiLSTM+CRF(1) BiLSTM+CRF(2) BERT+BiLSTM+CRF 参考文献 文献[3] 文献[3] 文献[4] 文献[2] 数据集 100w字符...
基于BERT和双向LSTM的微博评论倾向性分析研究-笔记
敷衍zgf的博客
10-19 1582
基于BERT和双向LSTM的微博评论倾向性分析研究-笔记
bert中的sep_关于bert+lstm+crf实体识别训练数据的构建
weixin_39612733的博客
12-20 1155
一.在实体识别中，bert+lstm+crf也是近来常用的方法。这里的bert可以充当固定的embedding层，也可以用来和其它模型一起训练fine-tune。大家知道输入到bert中的数据需要一定的格式，如在单个句子的前后需要加入"[CLS]"和“[SEP]”，需要mask等。下面使用pad_sequences对句子长度进行截断以及padding填充，使每个输入句子的长度一致。构造训练集后，下...
关键短语抽取及使用BERT-CRF的技术实践
studyvcmfc的专栏
08-04 1160
BERT[23]是非常优质的预训练模型，包含了很多预训练语料中蕴含的外部知识和信息。我们以此为基础，训练BERT-CRF模型，作为candidate generation中重要的一路召回。另外的召回路包括基于模板 （pattern）和基于POS tags的NP抽取系统。CRF[12]是序列标注的经典方法，其核心思想是在进行序列标注时，把序列上的各个点当做一个整体来处理，而不是一个个独立的点，各个点的标注结果是有一定依赖关系的，以路径为单位进行训练。因此，通过训练，模型能在理解文本以外，还能理解输出序列的规则
基于 Bert + Bi-LSTM + CRF 的命名实体识别(TensorFlow)
08-24
本项目采用TensorFlow框架，结合了Bert模型、双向长短期记忆网络（Bi-LSTM）以及条件随机场（CRF）来提升NER的性能。 **Bert模型** Bert，全称为Bidirectional Encoder Representations from Transformers，是由...
Pytorch实现基于BERT+ BiLSTM+CRF的命名实体识别项目源码（课程设计）.zip
11-15
Pytorch实现基于BERT+ BiLSTM+CRF的命名实体识别项目源码（课程设计）.zip 这是95分以上高分必过课程设计项目，下载即用无需修改，确保可以运行。也可作为期末大作业。 Pytorch实现基于BERT+ BiLSTM+CRF的命名实体...
中文命名实体识别包括多种模型：BILSTM+CRF、IDCNN+CRF、BERT+BILSTM+CRF进行识别的python源码
01-20
光健字: 中文命名实体识别 NER BILSTM CRF IDCNN BERT 摘要：对中文命名实体识别一直处于知道却未曾真正实践过的状态，此次主要是想了解和实践一些主流的中文命名实体识别的神 - 不懂运行，下载完可以私聊问，可...
Pytorch实现基于BERT+BiLSTM\Roberta+CRF的命名实体识别项目源码+文档说明
12-04
Pytorch实现基于BERT+BiLSTM\Roberta+CRF的命名实体识别项目源码+文档说明Pytorch实现基于BERT+BiLSTM\Roberta+CRF的命名实体识别项目源码+文档说明Pytorch实现基于BERT+BiLSTM\Roberta+CRF的命名实体识别项目源码+...
基于 pytorch 实现 bert-bilstm-crf-ner 命名实体识别 完整代码+数据 可直接运行
03-17
本项目提供了一种基于PyTorch实现的BERT-BiLSTM-CRF模型来执行NER任务，该模型将预训练的BERT模型与双向长短期记忆网络（BiLSTM）和条件随机场（CRF）相结合，以提升模型的性能和准确性。 首先，BERT...
【Pytorch】BERT+LSTM+多头自注意力（文本分类）
热门推荐
weixin_42419611的博客
02-25 2万+
【Pytorch】BERT+LSTM+多头自注意力（文本分类） 2018年Google提出了BERT[1]（Bidirectional Encoder Representations from Transformers）预训练模型，刷新了11项NLP任务的精度，在NLP领域掀起一波预训练（pre-training）模型热潮。通过对BERT、RoBERTa、GPT等预训练模型微调（fine-tuning）或者作为文本的特征提取器进行迁移学习成为当时直到现在最流行的情感分析方法。
bert 和crf设置不同学习率（pytorch）
消极的人永远是对的，积极的人选择勇往直前
02-10 1798
bert 和crf设置不同学习率（pytorch）
BERT+CRF实现中文命名实体识别（TensorFlow）
Q_M_X_D_D_的博客
06-26 1万+
本篇解读了基于BERT+CRF做中文NER这篇文章中的代码，在该篇作者的GitHub上可以下载源码：源代码。这段代码对BERT模型的实现较为简洁，删掉了谷歌源代码中我们可能用不到的部分，保留了核心部分。对于那些想要快速上手BERT的同学是非常好的学习机会，在看懂这个之后再去学习谷歌的源代码会更加轻松。 BERT-CRF模型 之前有写过BERT模型和CRF模型的详解，建议往下看之前一定要了解这两个模型的原理：结合原理和代码来理解bert模型、结合原理与代码理解BiLSTM-CRF模型（pytorch）。B
自然语言处理（NLP）Bert与Lstm结合
DataShare
09-08 1万+
背景介绍 自然语言处理（NLP）在深度学习领域是一大分支（其他：CV、语音），经过这些年的发展NLP发展已经很成熟，同时在工业界也慢慢开始普及，谷歌开放的Bert是NLP前进的又一里程碑。本篇文章结合Bert与Lstm，对文本数据进行二分类的研究。 需要的第三方库 pandas numpy torch transformers sklearn 以上这些库需要读者对机器学习、深度学习有一定了解 数据及预训练Bert 预训练好的Bert（BERT-wwm, Chinese 中文维基） https://g
Bert + 架构解决文本分类任务
yingzi的技术博客
10-26 2500
[在这里插入图片描述]一般任务 = 预训练 + 架构 + 应用在本文中，我们将用任务未使用BERT架构，使用基本的模型架构解决文本分类任务的可见这篇文章中文文本分类，基本模型的pytoch实现 - 影子的文章 - 知乎 https://zhuanlan.zhihu.com/p/577121058。
深度学习机器学习面试题——自然语言处理NLP,transformer,BERT,RNN,LSTM
weixin_46838716的博客
05-23 2760
1）transformer是BERT的基本结构，self-attention又是transformer的重要核心，transformer比CNN,RNN,LSTM牛逼多了，BERT是预训练大模型。 2）Tranformer已经在CV中开挂了，所以不只是NLP里面有这个玩意 3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。
NLP 进阶：BERT + CRF 用于命名实体识别（NER）
最新发布
qq_42014575的博客
01-14 1823
命名实体识别（NER）是自然语言处理（NLP）中的一项关键任务，它帮助我们从文本中识别出具有特定意义的实体，例如人名、地名、组织机构等。在许多 NER 任务中，结合 BERT 和 CRF（条件随机场） 提供了强大的性能提升。今天，我们将深入探讨如何将 BERT 与 CRF 结合，打造一个高效、精准的命名实体识别模型。
一文看懂BERT！
weixin_43641852的博客
09-28 1400
一文看懂BERT!
命名实体识别（NER）（二）：BERT+CRF模型训练
一代目Jackson的博客
05-28 9514
摘要：上篇介绍了数据的标注过程，接下来就是模型的训练了，本文采用BERT+CRF模型进行训练。 wait~
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值