bert+crf可以做NER，那么为什么还有bert+bi-lstm+crf ?

最新推荐文章于 2025-05-02 22:25:25 发布
最新推荐文章于 2025-05-02 22:25:25 发布
阅读量1.2k 收藏 4
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 知识图谱
原文链接：https://www.zhihu.com/question/398672104

我在自己人工标注的一份特定领域的数据集上跑过，加上bert确实会比只用固定的词向量要好一些，即使只用BERT加一个softmax层都比不用bert的bilstm+crf强。而bert+bilstm+crf和bert+crf两者差别不大，甚至有时不加bilstm比加上效果要好，在调整学习率取最优结果的情况下，加上bilstm的稍好一点。


https://www.zhihu.com/question/398672104/answer/1263180722
 

https://www.zhihu.com/question/398672104

Quality-Estimation2 (翻译质量评价-在BERT模型后面加上Bi-LSTM进行fine-tuning)
涛涛不绝蕾蕾于冬
03-12 2672
简介 翻译质量评价（Quality Estimation,QE）是机器翻译领域中的一个子任务，大致可分为 Sentence-level QE，Word-level QE，Phrase-level QE，详情可参考WMT(workshop machine translation)比赛官网 http://www.statmt.org/wmt17/quality-estimation-task.html...
实体识别（一）几种NER深度学习模型效果对比IDCNN+BERT+BiLISTM+CRF
ai_1046067944的专栏
01-31 1万+
纯实现上对比几种NER深度学习模型效果（有不严谨的地方：数据集、模型规模等），代码来源于Github上大神的贡献。 实现上有三种模型 对比 模型 IDCNN+CRF BiLSTM+CRF(1) BiLSTM+CRF(2) BERT+BiLSTM+CRF 参考文献 文献[3] 文献[3] 文献[4] 文献[2] 数据集 100w字符...
BERT+CRF模型在命名实体识别(NER)任务中的应用
最新发布
直达开源前线，冲冲冲！
05-02 1416
命名实体识别(Named Entity Recognition, NER)是自然语言处理中的一项基础性任务，旨在从非结构化文本中识别出具有特定意义的实体，并将其分类到预定义的类别中(如人名、地名、组织机构名等)。NER任务的典型应用场景包括：传统的NER方法主要基于规则和统计机器学习，而近年来深度学习尤其是预训练语言模型(BERT)与条件随机场(CRF)的结合已成为NER任务的state-of-the-art解决方案。BERT(Bidirectional Encoder Representations fr
基于BERT和双向LSTM的微博评论倾向性分析研究-笔记
敷衍zgf的博客
10-19 1502
基于BERT和双向LSTM的微博评论倾向性分析研究-笔记
bert中的sep_关于bert+lstm+crf实体识别训练数据的构建
weixin_39612733的博客
12-20 1131
一.在实体识别中，bert+lstm+crf也是近来常用的方法。这里的bert可以充当固定的embedding层，也可以用来和其它模型一起训练fine-tune。大家知道输入到bert中的数据需要一定的格式，如在单个句子的前后需要加入"[CLS]"和“[SEP]”，需要mask等。下面使用pad_sequences对句子长度进行截断以及padding填充，使每个输入句子的长度一致。构造训练集后，下...
BERT知识蒸馏Distilled BiLSTM
null的专栏
09-16 1270
Distilled BiLSTM是对于知识蒸馏较为一般性的实践，将BERT模型（Teacher）蒸馏到一个简单的BiLSTM模型（Student），蒸馏的目标函数中的蒸馏loss也是采用了对比logits结果的差异。虽然理论上较为简单，但是最终的结果是与与ELMo模型具有相同的效果，说明知识蒸馏的方法的有效性。在BiLSTM中，多个隐层状态的融合有不同的方法，如上面直接用最后一个隐层状态作为最终的状态，实际上，可以使用Attention的方法综合多个隐层状态作为最终的状态能够进一步增强模型的效果。
基于 Bert + Bi-LSTM + CRF 的命名实体识别(TensorFlow)
08-24
本项目采用TensorFlow框架，结合了Bert模型、双向长短期记忆网络（Bi-LSTM）以及条件随机场（CRF）来提升NER的性能。 **Bert模型** Bert，全称为Bidirectional Encoder Representations from Transformers，是由...
Pytorch实现基于BERT+ BiLSTM+CRF的命名实体识别项目源码（课程设计）.zip
11-15
Pytorch实现基于BERT+ BiLSTM+CRF的命名实体识别项目源码（课程设计）.zip 这是95分以上高分必过课程设计项目，下载即用无需修改，确保可以运行。也可作为期末大作业。 Pytorch实现基于BERT+ BiLSTM+CRF的命名实体...
中文命名实体识别包括多种模型：BILSTM+CRF、IDCNN+CRF、BERT+BILSTM+CRF进行识别的python源码
01-20
光健字: 中文命名实体识别 NER BILSTM CRF IDCNN BERT 摘要：对中文命名实体识别一直处于知道却未曾真正实践过的状态，此次主要是想了解和实践一些主流的中文命名实体识别的神 - 不懂运行，下载完可以私聊问，可...
基于 pytorch 实现 bert-bilstm-crf-ner 命名实体识别 完整代码+数据 可直接运行
03-17
本项目提供了一种基于PyTorch实现的BERT-BiLSTM-CRF模型来执行NER任务，该模型将预训练的BERT模型与双向长短期记忆网络（BiLSTM）和条件随机场（CRF）相结合，以提升模型的性能和准确性。 首先，BERT...
pytorch实现基于Bert+BiLSTM+CRF的中文命名实体识别项目源码（课程设计）.zip
11-15
pytorch实现基于Bert+BiLSTM+CRF的中文命名实体识别项目源码（课程设计）.zip这是95分以上高分必过课程设计项目，下载即用无需修改，确保可以运行。也可作为期末大作业。 pytorch实现基于Bert+BiLSTM+CRF的中文...
【Pytorch】BERT+LSTM+多头自注意力（文本分类）
weixin_42419611的博客
02-25 2万+
【Pytorch】BERT+LSTM+多头自注意力（文本分类） 2018年Google提出了BERT[1]（Bidirectional Encoder Representations from Transformers）预训练模型，刷新了11项NLP任务的精度，在NLP领域掀起一波预训练（pre-training）模型热潮。通过对BERT、RoBERTa、GPT等预训练模型微调（fine-tuning）或者作为文本的特征提取器进行迁移学习成为当时直到现在最流行的情感分析方法。
KBQA-Bert学习记录-构建BERT-CRF模型
Swayzzu的博客
12-15 1961
BERT和CRF结合起来，构建模型。
自然语言处理（NLP）Bert与Lstm结合
DataShare
09-08 1万+
背景介绍 自然语言处理（NLP）在深度学习领域是一大分支（其他：CV、语音），经过这些年的发展NLP发展已经很成熟，同时在工业界也慢慢开始普及，谷歌开放的Bert是NLP前进的又一里程碑。本篇文章结合Bert与Lstm，对文本数据进行二分类的研究。 需要的第三方库 pandas numpy torch transformers sklearn 以上这些库需要读者对机器学习、深度学习有一定了解 数据及预训练Bert 预训练好的Bert（BERT-wwm, Chinese 中文维基） https://g
浅谈bert和lstm
weixin_39422563的博客
03-19 9846
LSTM 概述： lstm是代表性的rnn结构，rnn提出是为了解决时序的问题；典型的例子就是NLP中的句子理解，视频的内容理解；模型结构的设计保证输入顺序按照时序顺序对结果产生影响，当前时间步的输入是当前位置和上一个时间步的输出。 优点： 解决了dnn或者是bow词袋模型的问题，不能区分时序 缺点： 处理长文本的时候耗时较长，考虑到上下文，一般还采用双向rnn结构；模型效果上，对于长依赖问题...
深度学习机器学习面试题——自然语言处理NLP,transformer,BERT,RNN,LSTM
weixin_46838716的博客
05-23 2646
1）transformer是BERT的基本结构，self-attention又是transformer的重要核心，transformer比CNN,RNN,LSTM牛逼多了，BERT是预训练大模型。 2）Tranformer已经在CV中开挂了，所以不只是NLP里面有这个玩意 3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。
一文看懂BERT！
weixin_43641852的博客
09-28 1365
一文看懂BERT!
NLP学习之BERT
weixin_42027200的博客
12-30 1864
bert的双向体现在？ mask+attention，mask的word结合全部其他encoder word的信息。 Bert的是怎样实现mask构造的？ MLM：将完整句子中的部分字mask，预测该mask词 NSP：为每个训练前的例子选择句子 A 和 B 时，50% 的情况下 B 是真的在 A 后面的下一个句子， 50% 的情况下是来自语料库的随机句子，进行二分预测是否为真实下一句。 在数据中随机选择 15% 的标记，其中80%被换位[mask]，10%不变、10%随机替换其他单词，这样做的原因是什么？
RNN结构，双向LSTM，Transformer， BERT对比分析
热门推荐
weixin_41089007的博客
07-19 2万+
最近接到一些秋招面试，发现自己对于好多网络结构都模糊了，刚好最近在调研模型，就趁这个机会把之前的常见模型知识梳理一下。 主要参考文档： https://jalammar.github.io/illustrated-transformer/ https://blog.youkuaiyun.com/jojozhangju/article/details/51982254 1.Recurrent Neura...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值