基于中文问答系统谈Bert的不足及改进

最新推荐文章于 2025-06-10 09:09:05 发布
最新推荐文章于 2025-06-10 09:09:05 发布
阅读量3.9k 收藏 6
点赞数
CC 4.0 BY-SA版权
分类专栏： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u011334375/article/details/90018224
本文探讨了BERT模型的局限性，包括对词性、句法信息的忽视，关键词权重相同，以及对复合主题理解不足等问题。提出在训练中融入词性、句法信息和停用词，抽取多个主旨来提升模型性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

bert仅仅基于attention，没有考虑词性、对上下文信息也仅仅用了embedding，仅仅用语义信息，会出现错判。Bert对各个词的权重是一样的，不能突出关键词。bert对整句话只抽取一个主旨，像‘我做了头发，我还能买新衣服’这样的句子，就判断不出来了。
在训练中，融入词性、句法信息、停用词，抽取多个主旨，以改善这个现象

文本处理Bert面试内容整理-BERT的缺点是什么？
不务正业的猿
03-07 317
尽管BERT采用了自注意力机制来捕捉上下文信息，但在处理长序列时，模型的性能和效率可能受到限制，因为自注意力的计算复杂度为O(n²)，随着序列长度增加，计算成本急剧上升。：虽然BERT能够通过预训练获取语言知识，并能在多种下游任务中应用，但对于某些任务，尤其是对数据稀缺的领域，BERT仍然需要大量的任务特定标注数据进行微调。：BERT并不具备深度推理能力，例如，在处理需要多个步骤推理的任务时（如一些类型的数学推理、情感推理等），BERT的表现往往不如一些专门设计的推理模型。
BERT的中文问答系统69
weixin_54366286的博客
01-22 1033
使用说明： 启动程序：运行脚本后，会启动一个图形界面。 输入问题：在“问题”输入框中输入您的问题，然后点击“获取回答”按钮，羲和将为您提供答案。 评价回答：如果您认为回答准确，请点击“准确”按钮；如果不准确，请点击“不准确”按钮。 查看历史记录：点击“查看历史记录”按钮可以查看之前的聊天记录。 保存历史记录：点击“保存历史记录”按钮可以将聊天记录保存到文件。 训练模型：点击“训练模型”或“重新训练模型”按钮可以对模型进行训练或重新训练。 评估模型：点击“评估模型”按钮可以评估模型的准确率。 使用说明：点击“
BERT（二）——BERT 缺陷
12-25 9707
BERT有什么局限性？ 从XLNet论文中，提到了BERT的两个缺点，分别如下： BERT在第一个预训练阶段，假设句子中多个单词被Mask掉，这些被Mask掉的单词之间没有任何关系，是条件独立的，然而有时候这些单词之间是有关系的，比如”New York is a city”，假设我们Mask住”New”和”York”两个词，那么给定”is a city”的条件下”New”和”York”并不独立，因为”New York”是一个实体，看到”New”则后面出现”York”的概率要比看到”Old”后面出现”Yo
使用 BERT 完成文本问答的答案预测任务
最新发布
王大呀呀的博客
06-10 312
本文主要介绍了文本问答的实现过程，简单来说就是输入“文本+问题”，返回“答案在文本的起始索引和终止索引”。
bert的缺点记录
ltochange的博客
04-14 1298
1. 预测文本最后的位置的汉字，总是预测为标点 应该是学习到了，结尾位置是标点的模式，而未学习到上下文关系，句子是否完整的关系
bert问答系统
qq_39783265的博客
04-09 1335
问答给出两部分数据，第一部分是问题，第二部分是包含答案的段落，目标是找到答案在段落中的开始和结束位置。上例重写了其父类的初始化init和前向传播forward两个函数，在整个网络结构的最后加入了一个全连接层来计算位置；其核心是用预测的位置与实际位置的差异计算误差函数。 上图的结构问题是情绪的类别，context就是段落，要求是让我们找段落中的答案。可应用到阅读理解中去。 ...
bert 中文基于文本的问答系统
张伟的专栏
08-05 1518
https://blog.youkuaiyun.com/frank_zhaojianbo/article/details/107829713
A BERT Baseline for the Natural Questions.pdf_问答系统_bert问答_ANatur
10-03
《A BERT Baseline for the Natural Questions》这篇论文聚焦于使用BERT模型在问答系统中的应用，为构建此类系统提供了一个基础框架。问答系统是人工智能领域的重要组成部分，它旨在理解和回答自然语言提出的问题，...
毕设&课程作业_基于Bert的智能问答系统！.zip
01-31
【标题】: "基于Bert的智能问答系统" 是一种利用深度学习技术构建的智能问答解决方案，特别适合在计算机科学领域作为毕业设计或课程作业。这个项目的核心是Bert（Bidirectional Encoder Representations from ...
基于Langchain的智能问答系统
05-06
【基于Langchain的智能问答系统】是一种利用人工智能技术构建的高效、智能化的问答解决方案。它主要依赖于Langchain框架，这是一个强大的开源工具，专为自然语言处理（NLP）任务设计，尤其在对话理解和生成方面表现...
构建基于知识图谱的KBQA-BERT-CRF问答系统
总结来说，KBQA-BERT-CRF是一个基于BERT和CRF的问答系统，专为知识图谱设计，以提高问答准确性。项目使用了最新的技术栈，包括Python 3.6和Pytorch 1.1.0，并利用了广泛使用的数据集。它的开源特性意味着它可以被...
Python-基于知识图谱的问答系统BERT做命名实体识别和句子相似度分为online和outline模式
08-10
基于知识图谱的问答系统，BERT做命名实体识别和句子相似度，分为online和outline模式
BERT-Embedding-Frequently-Asked-Question:使用BERT的基于常见问题的问答系统
05-01
BEFAQ BEFAQ(BERT Embedding Frequently Asked Question) 开源项目是好好住面向多领域FAQ集合的问答系统框架。 我们将Sentence BERT模型应用到FAQ问答系统中。开发者可以使用BEFAQ系统快速构建和定制适用于特定业务场景的FAQ问答系统。 BEFAQ的优点有： （1）使用了Elasticsearch、Faiss、Annoy 作为召回引擎 （2）使用了Sentence BERT 语义向量（Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks） （3）对同义问题有很好的支持 （4）支持多领域语料（保证了召回的数据是对应领域的，即使是同样的问题，也可以得到不同的答案。） （5）提供了根据当前输入提示联想问题（suggest）功能的接口 BEFAQ的框架结构如下图
基于BERT的数据库的问答系统
m0_37531129的博客
12-01 5124
一. 知识图谱的介绍 详情请参考 知乎专栏 1. 知识库与三元组 “奥巴马出生在火奴鲁鲁。”, “姚明是中国人。”,“谢霆锋的爸爸是谢贤。” 这些就是一条条知识，而把大量的知识汇聚起来就成为了知识库。我们可以在wiki百科，百度百科等百科全书查阅到大量的知识。然而，这些百科全书的知识组建形式是非结构化的自然语言，这样的组织方式很适合人们阅读但并不适合计算机去处理。为了方便计算机的处理和理解，我们...
基于BERT模型的知识库问答(KBQA)系统
bullnfresh的专栏
05-09 4638
一、介绍 本项目的主要目标是构建一个公共的知识库问答系统，从用户所提出的问题，对知识库进行检索，返回一个确定的答案，或者没有答案。项目代码、数据在这个地址中：链接: https://pan.baidu.com/s/1HvdVIvYIrvDaRBDl5p1oUw 提取码: a917 本项目所使用的数据集是已经被预处理好的三元组 ，有两个文件 nlpcc-iccpol-2016.kbqa.training-data，nlpcc-iccpol-2016.kbqa.testing-data，文件内容样式： 二
基于BERT的知识库问答系统（KBQA）
weixin_43914692的博客
09-23 6818
基于BERT的知识库问答系统（KBQA） 简介 知识库问答系统主要要做的两点分别是识别问题中的实体和提取问题中我们需要从知识库中查找的属性，针对这两个方面我采用了NLP预训练模型BERT分别训练了基于BERT-LSTM-CRF的命名实体识别模型（框架来源于https://blog.youkuaiyun.com/macanv/article/details/85684284），基于BERT的分类模型，用于匹配问...
基于Bert的知识库智能问答系统
a1105425455的博客
04-21 6555
利用预训练的 BERT模型来实现自然语言理解和问答，同时将知识库和问答系统进行整合，从而能够对用户提出的问题进行准确、高效的回答。该系统通过将问题和知识库中的实体和关系进行匹配，从而找到最佳答案。具体来说，本系统先将三个属性：实体（问题），实体关系（实体属性），实体（答案）存储进 mysql 数据库。当提出问题时，用 BertCrf模型来识别出问题中所包含的实体，识别出实体之后就可以进行数据库的查询；识别出实体后就需要进行实体与属性的连接，利用BertForSequenceClassification模型进
【Bert】（九）简易问答系统--跑通代码
mjiansun的专栏
03-08 689
论文：https://arxiv.org/pdf/1810.04805.pdf 官方代码：GitHub - google-research/bert: TensorFlow code and pre-trained models for BERT 跑通代码 环境配置 1、安装anaconda环境 2、执行如下代码配置环境，不需要额外安装cuda和cudnn，如下的安装方式已经在环境中自动安装了cuda和cudnn，但只在conda叫bert的这个环境中生效，并不影响你原来安装的cuda和cud.
【Bert】（十三）简易问答系统--源码解析（测试）
mjiansun的专栏
03-10 1733
上一篇博客介绍的损失部分就涉及训练的过程。 本篇介绍一下测试。按照上一篇博客介绍损失时，start_logits选取最大的概率值作为起始位置与真实起始位置比较，end_logits选取最大的概率值作为终止位置与真实终止位置比较。那么直观观念上测试只需要分别选取start_logits和end_logits的最大值，就能得到起始位置和终止位置。 但是会碰到如下几个问题 （1）很多时候句子达不到设定的seq_length的长度，假如设定输入模型的整个句子的向量长度为384，但是实际问题+段落的长度才181
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值