问答模型方案设计

原创已于 2022-03-10 17:43:30 修改 · 941 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #python

于 2022-03-10 17:37:15 首次发布

项目实训专栏收录该内容

17 篇文章

订阅专栏

该文介绍了如何使用BERT模型构建问答系统。通过将query和passage转化为id形式输入模型，BERT能定位到答案在段落中的位置，从而提取出答案。数据集采用DuReader的中文数据，包括Question、context、answer和location。该方法适用于处理简单问题，能够有效地从文本中抽取答案。

部署运行你感兴趣的模型镜像

方案设计图示

问答模型设计图

query: 用户的提问
passage: 文章

问答模型设计的是简单问题模型，即query的答案是从passage中抽取出的。query和passage经过数据预处理，得到id形式的输入，然后把query，passage的id形式输入到BERT模型，BERT模型经过处理会输出答案的位置，输出位置以后就可以得到相应的答案了。

数据集

使用的DuReader内置中文数据集，数据集形式：

Question: 提问
context: 提问对应的段落
answer: 问题答案
location: 答案在段落中开始的位置

您可能感兴趣的与本文相关的镜像

Qwen-Image-Edit-2509

图片编辑

Qwen

Qwen-Image-Edit-2509 是阿里巴巴通义千问团队于2025年9月发布的最新图像编辑AI模型，主要支持多图编辑，包括“人物+人物”、“人物+商品”等组合玩法

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

NewtonLoop

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

NLP——Question Answering 问答模型

qq_42902997的博客

06-15

5163

语义分析（Semantic Analysis）：这一步涉及到理解问题的含义，可能包括命名实体识别（Named Entity Recognition，即识别出问题中的实体，如人名、地名等）、实体链接（Entity Linking，即把问题中的实体链接到知识库中的实体）和关系抽取（Relation Extraction，即理解问题中的实体之间的关系）。这可能是一种结构化的表示（例如一个包含实体、关系和关键词的图）或者一种分布式的表示（例如一个向量，由词嵌入模型如Word2Vec或BERT生成）。

视觉问答（VQA）模型

百态老人的博客

12-01

1933

视觉问答（Visual Question Answering，VQA）模型是一种结合了计算机视觉和自然语言处理技术的人工智能任务，旨在通过理解图像内容并回答与之相关的自然语言问题。VQA模型需要同时处理图像和文本信息，生成准确的自然语言答案。VQA模型通常包括三个主要阶段：图像和问题特征提取、特征融合以及答案生成。在图像特征提取阶段，卷积神经网络（CNN）及其变体如VGGNet和ResNet被广泛使用；在问题特征提取阶段，词嵌入技术如LSTM、GRU和BERT等被用于捕捉问题的语义信息；

参与评论您还未登录，请先登录后发表或查看评论

问答模型(六)——模型训练与预测

NewtonLoop的博客

03-16

843

模型训练模型训练的过程通常有以下步骤：从dataloader中取出一个batch data 将batch data喂给model，做前向计算将前向计算结果传给损失函数，计算loss。 loss反向回传，更新梯度。重复以上步骤。每训练一个epoch时，程序通过evaluate()调用paddlenlp.metric.squad中的squad_evaluate(), compute_predictions()评估当前模型训练的效果，其中： compute_predictions()用于生成可提交

检索问答模型

weixin_33790053的博客

11-09

431

前言检索回答系统一般过程:1)构建好候选回答索引集,2)收到quary后,初步选出一些候选回答,3)quary和回答做matching,然后reranking,4)最后返回topk个回答. 排序reranking根据不同任务类型有不同方法. matching操作有如下模型使用: 1. DSSM(Deep Structured Semantic Models) 深度结构语义模型 ...

基于CNN的阅读理解式问答模型：DGCNN

Paper weekly

04-16

1279

作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP，神经网络个人主页丨kexue.fm早在年初的一文读懂「Attention is All You Need」| 附代码实现中就已经承诺过会分享 CNN 在 NLP 中的使用心得，然而一直不得其便。这几天终于下定决心来整理一下相关的内容了。背景事不宜迟，先来介绍一下模型的基本情况。模型特点本模型——我称之为 DGCNN——是基于 CNN 和简

精选资源

人工智能自动问答系统方案设计.pptx

06-02

输出严格地等于输入或者输入与输出的差别尽可能地小训练耗时，模型正确性验证复杂且麻烦某些深度网络不仅训练而且线上部署也需要GPU支持，计算资源要求高人工智能自动问答系统方案设计全文共33页，当前为第7

人工智能基于RAG技术的智能知识检索系统构建：融合向量检索与大模型的精准问答方案设计

09-27

内容概要：本文系统阐述了基于RAG...阅读建议：建议结合代码实例动手实践，重点关注文本切分、向量检索与提示工程的设计细节，理解各模块在整体流程中的作用，并尝试替换不同嵌入模型或本地大模型以适应实际业务需求。

精选资源

大型语言模型融合知识图谱的专业领域问答系统设计与实验研究

01-24

针对现有大型语言模型在专业领域存在的问题，作者提出了无需进行数据微调的问答系统方案。其主要特征在于将文本形式的专业知识库与知识图谱中存储的相关结构化信息结合，并利用LangChain将信息注入大语言模型中以...

基于大语言模型和多向量数据库的知识库问答系统白盒化解决方案

05-28

【作品名称】：基于大语言模型和多向量数据库的知识库问答系统白盒化解决方案【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。【项目...

基于BERT模型的Python智能问答系统实现方案

最新发布

11-12

本系统采用BERT架构构建，专为Python环境下的智能问答应用而设计。该实现方案严格限定于学术研究及技术交流范畴，任何商业化的使用行为均被明确禁止。系统核心功能聚焦于自然语言处理任务的实践验证，旨在为开发者...

问答模型(五)——模型构建

NewtonLoop的博客

03-16

2241

阅读理解本质是一个答案抽取任务，PaddleNLP对于各种预训练模型已经内置了对于下游任务-答案抽取的Fine-tune网络。以下项目以BERT为例，介绍如何将预训练模型Fine-tune完成答案抽取任务。答案抽取任务的本质就是根据输入的问题和文章，预测答案在文章中的起始位置和结束位置。基于BERT的答案抽取原理如下图所示： # 设置想要使用模型的名称 model = ppnlp.transformers.BertForQuestionAnswering.from_pretrained(MODEL_N

一个问答机器人模型该如何构建

weixin_42608299的博客

01-06

499

构建一个问答机器人模型，通常需要以下步骤：准备数据：需要大量的问题和答案对，以供模型学习。预处理数据：可能需要对数据进行分词、词性标注、去停用词等操作，以便输入模型进行训练。选择模型类型：常用的问答机器人模型类型有基于知识库的模型、基于生成的模型、基于对话系统的模型等。设计模型结构：根据选择的模型类型，设计合适的模型结构。训练模型：使用准备好的数据训练模型。评估模型：使用一...

【译】NLP——建立一个问答模型

张渊猛的博客

04-16

3676

最近在做一些nlp的工作，涉及到问答系统的构建，看到这篇文章觉得不错，遂翻译之，搬运一下。先奉上原文：NLP — Building a Question Answering model 以下是翻译内容：我最近完成了斯坦福大学的CS224n关于NLP的课程，很享受这个经历。在课程的final project中，我做了一个基于SQuAD（斯坦福问答数据集）的问答系统。在这篇博客中，我大概介绍一下这...

问答模型综述

NewtonLoop的博客

02-28

976

问答模型（八）训练NER模型

NewtonLoop的博客

06-05

295

NLPCC2016KBQA数据格式：使用问题与三元组的第一个元素对albert模型进行训练

问答式c语言程序设计,【答题】C语言程序设计问题与解释实验

weixin_29171129的博客

05-20

219

该楼层疑似违规已被系统折叠隐藏此楼查看此楼#include#define N 13main(){int y,m,D,q,t=0,i,day=0,a=0,Day,n,k,O[N]={0,31,29,31,30,31,30,31,31,30,31,30,31},p[N]={0,31,28,31,30,31,30,31,31,30,31,30,31};//y是年，m是月，D是日，q计算周几，t，i，k...

问答模型(八)——选用多种样例进行测试

NewtonLoop的博客

03-16

318

以下是一些自己ctrl+c ctrl+v的、不属于测试集的问题及段落，既测试模型在不同类问题上的表现，也测试能否处理仅有一条数据的数据集。废话小编数据形式： { "data": [ { "paragraphs": [ { "context": "王者荣耀520活动将会限时返场小乔&周瑜的情人节皮肤纯白花嫁&真爱至上。那么小乔纯白花嫁怎么获得呢?需要多少点券呢?相信不少玩家还

NLP：训练一个中文问答模型Ⅰ

机器会学习的博客

03-13

4662

本文基于经典的NMT架构（Seq2Seq+Attention)，训练了一个中文问答模型，把问题到答案之间的映射看作是问题到答案的翻译。基于Tensorflow 2.x实现，分词采用了jieba，在中文词汇粒度上训练模型。

深度学习问答模型记录1

qq_276982536的博客

11-05

875

第一天：采用一个单层的lstm，输入是embedding的向量。输出接sigmoid二分类训练结果有一次训练5epoch就达到了百分之98，其他的即使经过100+epoch也无法达到目标结果查找原因：将batch-size变大（可以加速训练，但无法500轮也过不了百分之90）将learning-rate变为0.1（可以加速训练，但500epoch最高到百分之80）将lear...