【人工智能项目】Bert实现阅读理解

命名实体识别Baseline模型BERT-MRC总结 BERT-MRC模型 BERT-MRC模型是目前实体识别领域的一个SOTA模型,在数据量较小的情况下效果较其他模型要更好,原因是因为BERT-MRC模型可以通过问题加入一些先验知识,减小由于数据量太小带来的问题,在实际实验中,在数据量比较小的情况下,BERT-MRC模型 的效果确实要较其他模型要更好一点。BERT-MRC模型很适合在缺乏标注数据的场景下使用。 BERT-MRC模型的理论基础 MRC机器阅读理解 给定一个文本序列X,它的长度为n,要抽取出其中的每个实体,其中实体都属于一种实体类型。假设该数据集 阅读详情

【人工智能项目】Bert实现阅读理解

在这里插入图片描述

相信大家在学生时代,语文考试中有这样一种类型的题:阅读理解。首先给你一段材料,然后根据上述材料回到问题。

有这么经历的同学们,就很容易理解本次任务,就是根据给出的材料,回答相应问题。本次主要是通过github中已存有的源码进行训练并测试给出答案。

数据集

本次所用的数据集大致格式如下:
在这里插入图片描述

实验环境

本次的实验环境还是一如既往一往情深的选用了google colab。主要是当时疫情期间做的项目,没卡用。

!nvidia-smi

在这里插入图片描述

本次训练源码以及预训练模型

# 从这里面找模型替换 https://github.com/ymcui/Chinese-BERT-wwm
!wget https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip

在这里插入图片描述

!unzip chinese_L-12_H-768_A-12.zip

在这里插入图片描述

# 本次代码
!git clone https://github.com/caldreaming/CAIL.git

在这里插入图片描述

安装本次所需的模块

!mv CAIL/*   .
!pip install -r bert/requirements.txt
!pip install tensorflow-gpu==1.13.1

在这里插入图片描述

!pip install keras==2.2.4

在这里插入图片描述

!pip install numpy==1.17.4

训练

!python bert/run_cail_with_yorn.py \
  --vocab_file=chinese_L-12_H-768_A-12/vocab.txt \
  --bert_config_file=chinese_L-12_H-768_A-12/bert_config.json \
  --init_checkpoint=chinese_L-12_H-768_A-12/bert_model.ckpt \
  --do_train=True \
  --train_file=./big_train_data.json \
  --train_batch_size=8 \
  --learning_rate=3e-5 \
  --num_train_epochs=7.0 \
  --max_seq_length=512 \
  --output_dir=output/cail_yorn/

在这里插入图片描述

测试

!python bert/run_cail_with_yorn.py \
  --vocab_file=chinese_L-12_H-768_A-12/vocab.txt \
  --bert_config_file=chinese_L-12_H-768_A-12/bert_config.json \
  --do_predict=True \
  --predict_file=my_data.json \
  --max_seq_length=512 \
  --output_dir=output/cail_yorn/

在这里插入图片描述
生成的结果文件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

小结

点赞评论收藏走起来瓷们!!!
在这里插入图片描述

BERT-MRC:统一化MRC框架提升NER任务效果 受到当下一些研究者[4][5]将NLP问题转换为QA任务的启发,作者提出一种统一化MRC框架来同时解决nested NER和flat NER两种类型任务。 阅读详情

相关推荐

BERT的demo运行

BERT的demo运行概述实际操作1.环境2.下载bert源码和demo源码3.下载预训练模型4.下载训练数据:5. run demo:6.总结: 概述 自从google发布了《Pre-training of Deep Bidirectional Transformers for Language Understanding》,一举刷新多项NLP领域记录后。BERT模型可谓红遍NLP领域,许多人都...

weixin_43948816的博客 1万+

【NLP】如何利用BERT来做基于阅读理解的信息抽取

信息抽取 (Information Extraction: IE)是把文本里包含的信息进行结构化处理,变成计算机能够处理的结构,实体抽取、关系抽取、事件抽取等都属于信息抽取的范畴。在NL...

hacker_long的专栏 7345

谷歌AI论文BERT双向编码器表征模型:机器阅读理解NLP基准11种最优(公号回复“谷歌BERT论文”下载彩标PDF论文)

谷歌AI论文BERT双向编码器表征模型:机器阅读理解NLP基准11种最优(公号回复“谷歌BERT论文”下载彩标PDF论文) 原创: 秦陇纪 数据简化DataSimp 今天 数据简化DataSimp导读:谷歌AI语言组论文《BERT:语言理解的深度双向变换器预训练》,介绍一种新的语言表征模型BERT——来自变换器的双向编码器表征量。异于最新语言表征模型,BERT基于所有层的左、右语境来预训练...

数据简化DataSimp社区 6124

基于BERT模型的机器阅读理解

使用BERT模型实现机器阅读理解,可以搜索引擎,教育,医疗等领域

m0_63642362的博客 5202

NLP-阅读理解:“阅读理解”综述(Machine Reading Comprehension, MRC)【完形填空、多项选择、抽取式(答案片段抽取)、生成式(自由作答)】《机器阅读理解数据集》

一、阅读理解概述 所谓的机器阅读理解(Machine Reading Comprehension, MRC)就是给定一篇文章,以及基于文章的一个问题,让机器在阅读文章后对问题进行作答。 机器阅读理解(MRC)是一项任务,用于测试机器通过要求机器根据给定的上下文回答问题来理解自然语言的程度。早期的MRC系统是基于规则的,性能非常差。随着深度学习和大规模数据集的兴起,基于深度学习的MRC显著优于基于规则的MRC。 1、常见任务定义 MRC 的常见任务主要有六个:完形填空、多项选择、片段抽取、生成式、会话、多跳推

u013250861的博客 8389

基于BERT的阅读理解方法及实现

阅读理解是自然语言处理中的一个重要任务,旨在通过对给定文本的理解和推理,回答提出的问题。BERT作为一种基于变换的预训练模型,通过无监督学习大规模文本数据来学习通用的上下文表示,为阅读理解任务提供了强大的特征表达能力。阅读理解任务要求给定一段文章和一个问题,通过理解文章内容并进行推理,从文章中选取正确的答案。在BERT模型中,将文章和问题作为输入,通过对整个序列进行编码,得到文章和问题的语义表示。通过使用BERT模型,我们可以在阅读理解任务中取得更好的效果,并且通过微调适应不同的领域和数据集。

YovcGit的博客 385

用BERT进行机器阅读理解

这里可以找到带有代码的Github存储库:https://github.com/edwardcqian/bert_QA。本文将讨论如何设置此项功能. 机器(阅读)理解是NLP的领域,我们使用非结构化文本教机器理解和回答问题。 https://www.coursera.org/specializations/deep-learning?ranMID=40328&ranEAID=J2RDoRlzkk&ranSiteID=J2RDo.Rlzkk-XtffRH2JEnDifWa3VrZJ1A&a

张伟的专栏 1077

Bert基础(二十)--Bert实战:机器阅读理解任务

也就是Tanoue在原始文本中占一个字符,但是分词后,它占了三个,所以我们在定位答案的起始位置时需要根据一个字符进行定位,但是我们训练处理的时候时使用编码后的input_ids,所以我们就必须把offsets_mapping和原始的内容匹配好才能根据起始位置找到真正的答案。同时答案可能同时出现了多个窗口,因为有数据的重复,而且相似的答案也可能会出现在不同的位置,所以我们后面处理的时候需要进行对比。:北京是中国的首都,它是一座历史悠久的城市,有着丰富的文化遗产和现代化的城市景观。

Andy_shenzl的博客 2718

基于BERT阅读理解框架的司法要素抽取方法

点击上方蓝字关注我们基于BERT阅读理解框架的司法要素抽取方法黄辉1,秦永彬1,2,陈艳平1,2,黄瑞章1,21贵州大学计算机科学与技术学院,贵州 贵阳 5500252公共大数据...

weixin_45585364的博客 3629

基于bert的阅读理解脚本(run_squad)原理梳理(从举例的角度说明)

1. 例子 2. 对文章进行分词 3. 确定文章相关属性 4. 构造example 5. 得到query_tokens 6. 将doc_tokens进行更细粒度地划分all_doc_tokens 7. 获取答案在all_doc_tokens中的起始位置 8. 构造doc_spans 9. 构造tokens,并转化为input_ids 10. 更新start_position和end_position 11. 构造features 12. 保存features并作为model的输入 13. 构造model .

weixin_43178406的博客 2175

BERT在AI人工智能语义理解中的重要性

我们的目的是全面了解BERT在AI人工智能语义理解里的重要性。范围涵盖了BERT的基本概念、工作原理、在实际项目中的应用,以及它对未来语义理解发展的影响。本文先介绍相关背景知识,接着解释核心概念和它们之间的关系,然后阐述算法原理和操作步骤,再通过数学模型和公式进行理论支持,之后给出项目实战案例,分析实际应用场景,推荐相关工具和资源,探讨未来趋势与挑战,最后进行总结并提出思考题。BERT。

AI大模型应用之禅 1082

【NLP】用BERT进行机器阅读理解

作者 | Edward Qian编译 | VK来源 | Towards Data Science这里可以找到带有代码的Github存储库:https://github.com/edward...

fengdu78的博客 1145

解决redhat8/centos8无法使用yum问题(报错:This system is not registered to Red Hat Subscription Management)

解决redhat无法使用yum问题、以及替换repo文件后仍无法使用yum的问题

qq_43569119的博客 4342

彻底搞懂bert阅读理解源码

Bert & Transformer阅读理解源码详解 参考论文 https://arxiv.org/abs/1706.03762 https://arxiv.org/abs/1810.04805 在本文中,我将以run_squad.py以及SQuAD数据集为例介绍阅读理解的源码,官方代码基于tensorflow-gpu 1.x,若为tensorflow 2.x版本,会有各种错误,建议切换版本至1.14。 当然,注释好的源代码在这里 章节 Demo传参 数据篇 番外句子分类 创造实例 实例转换

qq_50974223的博客 1316

USB的24脚和12脚TYPEC引脚定义

USB 是一种接口,用于将设备连接到计算机上。通过该连接,计算机可以向设备发送数据或检索来自设备的数据。USB 为开发者提供了一个标准接口,适用于多种不同类型的应用。借助于系统的设计过程,USB 设备易于连接和使用。本应用笔记会使该过程变得更加简单。以下是本应用笔记中会使用的概念:USB 历史USB 架构USB 物理接口USB 速度USB 电源USB 端点USB 通信协议USB 描述符USB 类设备USB 枚举与配置过程。

易板 1万+

(实测可用)STM32L431RCT6开发板-实验1 跑马灯实验

一、开发板平台简介: 1、开发板资源简介 (1)开发板主芯片型号:STM32L431RCT6 (2)开发板主芯片封装:LQFP-64_10x10x05P (3)开发板主芯片内核:ARM® Cortex®-M4 (4)开发板主芯片主频:80MHz (5)开发板主芯片Flash大小:256KB (6)开发板主芯片RAM大小:64KB

zhej2014的博客 3170

如何用BERT构建强大的阅读理解系统:完整指南

BERT(Bidirectional Encoder Representations from Transformers)是一种革命性的自然语言处理模型,能够深刻理解文本上下文。本指南将带你了解如何使用gh_mirrors/be/bert项目快速开发专业级阅读理解系统,即使你是NLP领域的新手。 ## 📚 什么是BERT阅读理解系统? BERT模型通过双向Transformer架构,能够同时

gitblog_00435的博客 605

Excel曲线拟合实战:从基础趋势线到高级回归分析

本文系统介绍了Excel曲线拟合的完整工作流,从基础的散点图与趋势线应用,到利用Solver插件进行自定义高级回归分析。文章详细讲解了线性、多项式、指数、对数等六大常用数学模型的适用场景与选择方法,并强调了通过R²值、残差图评估拟合效果、避免过拟合与外推风险的关键步骤,帮助读者掌握从数据探索到预测评估的实战技能。

weixin_29280219的博客 538

【亲测免费】 AI阅读理解项目实战指南:readAI开源项目

AI阅读理解项目实战指南:readAI开源项目 项目介绍 readAI 是一个由年轻程序员维护的开源项目,旨在提供一个高效且易于使用的平台,用于人工智能在文本阅读理解领域的应用与研究。该项目结合了最新的自然语言处理技术,为开发者和研究人员搭建了一个强大的框架,使得训练模型以理解和解答来自各种文本的问题变得更加简便。 项目快速启动 快速开始体验readAI,首先确保你的开发环境已安装Git和Py...

gitblog_01118的博客 836

Android开发- (2)MediaProjection API实战:构建高效屏幕共享与远程控制方案

本文深入探讨了Android开发中利用MediaProjection API实现高效屏幕共享与远程控制方案的实战方法。文章从权限申请、虚拟屏幕创建讲起,详细解析了图像捕获、编码压缩、Socket网络传输的核心流程,并进一步介绍了如何构建双向控制通道及关键的性能优化与避坑指南,为开发者构建稳定可用的远程协作应用提供了完整路径。

weixin_29207533的博客 455

Unity Shader Graph 2D - Procedural程序化图形转动的环状六边形

Hexagon又称六边形,在游戏中是十分常见的基础形状,本文将使用程序化的六边形来制作多个环状六边形叠加的转动动画效果,实践Unity Shader Graph中的常用节点功能。

Giver的博客 1930

AI大模型系列之五:BERT技术详解(深度好文)

BERT(Bidirectional Encoder Representations from Transformers)是由 Google 开发的一个预训练模型,通过无监督的学习方式,可以学习出一种通用的语言表征,即每个词汇的向量表示,这些向量表示可以应用到各种自然语言处理任务中,例如句子分类、命名实体识别、问答等任务。BERT 的主要贡献是提出了一种双向 Transformer 模型,可以通过对上下文的建模来更好地表示词汇。

Peter_Changyb的博客 4万+

RK3568平台开发系列讲解(安卓篇)LED呼吸灯系统流程

1.app层封装后使用NotificationManager发出:NotificationManager.notify() 2.Android 系统架构中:一个manager类对应一个aidl接口,一个manager对应一个底层的服务,notification也是这个架构

内核笔记 3647

人工智能实战项目(python)+多领域实战练手项目

人工智能实战项目目录 一、机器学习实战项目 1.机器学习实战1-四种算法对比对客户信用卡还款情况进行预测 2.机器学习实战2-聚类算法分析亚洲足球梯队 (待更新) ...(待更新) 二、深度学习实战项目 1.深度学习实战1-(keras框架)企业数据分析与预测 2.深度学习实战2-(keras框架)企业信用评级与预测 3.深度学习实战3-文本卷积神经网络(TextCNN)新闻文本分类 4.深度学习实战4-卷积神经网络(DenseNet)数学图形识别+题目模式识别 5.深度学习实战5-卷积神经 ...

微学AI的博客 2万+

化工管道设计软件:CAESAR II二次开发_(6).API接口与函数库

自定义函数库是开发者根据特定需求编写的函数集合。这些函数可以扩展CAESAR II的功能,实现更复杂的管道设计任务。自定义函数库通常需要开发者具备一定的编程基础,能够理解和编写与CAESAR II接口兼容的代码。定义函数:在Python或其他编程语言中定义所需的函数。注册函数:将自定义函数注册到CAESAR II的函数库中。调用函数:在CAESAR II中调用自定义函数,实现特定功能。假设我们需要创建一个自定义函数库,用于批量修改管道节点的坐标。定义函数:在Python中定义一个函数,用于批量修改节点坐标。

kkchenjj的博客 1735

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

上一篇: 【人工智能项目】- 卷积神经网络实现游客评价情绪鉴别
下一篇: 【人工智能项目】U-Net实战ISBI细胞分割
mind_programmonkey
mind_programmonkey 领域专家: 算法与数据结构技术领域 领域专家: 算法与数据结构技术领域
博客等级 码龄9年 4435粉丝 1111原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mind_programmonkey

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值