Instruct and Extract: Instruction Tuning for On-Demand Information Extraction

最新推荐文章于 2025-03-03 17:02:50 发布
最新推荐文章于 2025-03-03 17:02:50 发布
阅读量229 收藏 1
点赞数
文章标签： 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/134156882
版权
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文提出了一种新的信息提取范式——按需信息提取，利用指令调优的大型语言模型满足用户个性化需求。为此，创建了InstructionIE基准数据集并开发了ODIE模型，该模型在信息提取任务中表现出色。尽管存在模型大小、数据约束等局限性，但研究为按需信息提取任务提供了重要进展。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《Instruct and Extract: Instruction Tuning for On-Demand Information Extraction》的翻译。

指令与提取：用于按需信息提取的指令调优

摘要

具有指令跟随功能的大型语言模型为更广泛的用户群体打开了大门。然而，当涉及到信息提取（自然语言处理中的经典任务）时，大多数特定于任务的系统无法很好地与非专家用户的长尾特别提取用例保持一致。为了解决这一问题，我们提出了一种新的范式，称为按需信息提取，以满足现实世界用户的个性化需求。我们的任务旨在按照说明从相关文本中提取所需内容，并以结构化表格格式呈现。表标题可以是用户指定的，也可以是模型根据上下文推断的。为了促进这一新兴领域的研究，我们提出了一个名为InstructionIE的基准，包括自动生成的训练数据和人工注释的测试集。在Instructionie的基础上，我们进一步开发了一个按需信息提取器ODIE。对我们基准的全面评估表明，ODIE大大优于现有的类似规模的开源模型。我们的代码和数据集发布于https://github.com/yzjiao/On-Demand-IE.

1 引言

2 相关工作

3 I

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

[arxiv论文解读]LlamaFactory：100+语言模型统一高效微调
强化学习曾小健
05-22 1806
有效的微调对于使大语言模型适应下游任务至关重要。然而，在不同的模型上实现这些方法需要付出很大的努力。我们提出了LlamaFactory，一个集成了一套尖端高效训练方法的统一框架。它允许用户通过内置的Web UI LlamaBoard灵活定制100+大语言模型的微调，而无需编码。我们凭经验验证了我们的框架在语言建模和文本生成任务上的效率和有效性。它已在发布，并已获得超过 13,000 个 star 和 1,600 个分叉。LlamaFactory：100+语言模型统一高效微调。
【大模型】大语言模型简介
热门推荐
AI天才研究院
04-03 2万+
因此，模型规模增长是必然趋势，当推进大模型规模不断增长的时候，涌现能力的出现会让任务的效果更加出色。有趣的是，当参数规模超过一定水平时，这些扩大的语言模型不仅实现了显着的性能提升，而且还表现出一些小规模语言模型所不具备的特殊能力。如 Google 发布的多模态具身视觉语言模型 PaLM-E，由540B 的 PaLM 文本模型和 22B 的 VIT 图像模型构成，两者集成处理多模态信息，所以它的总模型规模是 566B。随着模型规模的不断增长，任务效果也持续增长，说明这类任务对大模型中知识蕴涵的数量要求较高。
【论文精读】InstructUIE: Multi-task Instruction Tuning for Unified Information Extraction
HERODING23的博客
06-05 4055
通用抽取领域很新的一篇文章，使用指令微调的范式来指导预训练的大语言模型应用在通用抽取领域，希望能够通过这篇文章的阅读，学习当前通用抽取领域工作的思路，并找到更好的解决方案。大模型在信息抽取任务上存在困难，本文提出了InstructUIE，一个基于指令微调的统一信息抽取框架，它在32个不同信息抽取数据集上进行了验证，实验结果表明该模型实现了与bert相当的性能，并且在零样本设置中显著优于gpt3.5和领域最优。
LLMs：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读之Datasets数据集
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-20 1238
​ LLMs：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读之Datasets数据集 目录 相关文章 《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译 3 Datasets指令微调数据集 相关文章 LLMs：《Instruction T
【论文精读】InstructIE: A Chinese Instruction-based Information Extraction Dataset
HERODING23的博客
06-07 1650
一篇关于信息抽取的中文数据集构建的文章，旨在构建指令微调数据集对大语言模型进行微调，以达到对输入文本更为准确抽取其中信息的目的，阅读总结部分有我对这篇工作更为细致的看法~本文引入了一个名为的信息抽取任务，旨在要求LLM遵循特定的说明或指南来提取信息。此外构建了名为InstructIE的数据集，该数据集由来自中文维基百科的270000个弱监督数据和1000个高质量的众包注释实例组成。实验部分，InstructIE和其他模型进行了对比，还有一定的提升空间。最后总结了基于指令的IE任务现有的挑战。
AI推介-信息抽取（information extraction,NER）论文速览（arXiv方向）：2023.10.15-2023.11.15
小小帅
06-28 1460
命名实体识别（NER）在各种自然语言处理（NLP）应用中至关重要。传统的 NER 模型虽然有效，但仅限于一组预定义的实体类型。相比之下，大型语言模型（LLM）可以通过自然语言指令提取任意实体，具有更大的灵活性。然而，它们的规模和成本，尤其是通过像 ChatGPT 这样的应用程序接口进行访问时的规模和成本，使它们在资源有限的情况下变得不切实际。在本文中，我们介绍了一种经过训练的紧凑型 NER 模型，可以识别任何类型的实体。
InstructDoc: A Dataset for Zero-Shot Generalization of Visual Document Understanding with Instructio
liferecords的博客
03-22 1092
本研究探讨了通过人类编写的指令，在现实世界文档上完成各种视觉文档理解（VDU）任务的问题，例如问答和信息提取。为此，我们提出了InstructDoc，这是第一个大规模的集合，包含30个公开可用的VDU数据集，每个数据集都有多种指令，采用统一格式，涵盖了12个不同的任务，并包括开放的文档类型/格式。此外，为了提高VDU任务的泛化性能，我们设计了一个新的基于指令的文档阅读和理解模型InstructDr，通过一个可训练的桥接模块将文档图像、图像编码器和大型语言模型（LLMs）连接起来。
《InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning》速读
m0_60388871的博客
03-03 732
由于不同数据集的规模差异巨大（从几千到几十万样本不等），简单均匀混合会导致模型对小数据集过拟合、对大数据集欠拟合。多任务学习（multitask learning）**在视觉-语言任务中的效果，证明指令调整是提升零样本泛化能力的关键。，覆盖11种任务类别，并将其转化为统一的指令调整格式。这是迄今为止视觉-语言指令调整研究中使用的最广泛的数据集集合。，通过将文本指令同时输入到Q-Former中，使其能够根据具体指令动态调整提取的视觉特征。传统的视觉-语言模型（如BLIP-2）在提取视觉特征时采用的是。
InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning【翻译】
HYD1396395176的博客
05-24 805
在预训练和指令调优管道的驱动下，出现了可以解决各种语言领域任务的通用语言模型。然而，由于额外的视觉输入会增加任务差异，因此构建通用视觉语言模型具有挑战性。尽管视觉语言预训练已得到广泛研究，但视觉语言指令调优的探索相对较少。在本文中，我们基于预训练的 BLIP-2 模型对视觉语言指令调优进行了系统全面的研究。我们收集了各种 26 个公开可用的数据集，将它们转换为指令调优格式，并将它们分为两个集群，用于保持指令调优和保持零样本评估。
LLMs：《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-31 5373
​ LLMs：《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读 目录 《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读 Abstract 1、Introduction介绍 2、Background背景 3、BLOOM
多模态之论文笔记BLIP，BLIP2，Instruct BLIP
pku_langzi的博客
05-18 4373
题目: BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation机构：salesforce research论文:任务: 视觉语言预训练特点: 联合视觉语言理解以及生成，web 文本数据bootstrapping方法: 模型侧设计了MED，数据侧用captioner以及filter进行文本的生成以及噪声过滤。
《ollama ：AI library》
zheng_ruiguo的专栏
03-03 1017
AI Library
H5页面模板源码：众多实用示例
06-11
资源下载链接为： https://pan.quark.cn/s/f1ead55c4354 以下标题“H5页面模板源码，很不错的例子”暗示了我们讨论的主题是关于HTML5页面模板的源代码。HTML5是现代网页开发的核心技术，它提供了丰富的功能和元素，让开发者能够构建出更具交互性、动态性和响应式的网页。“很不错的例子”表明这些源码不仅具有实用性，还具备一定的教学意义，既可以作为项目开发的直接素材，也能供学习参考。 在描述“H5页面模板源码，非常酷炫的HTML5模板，可以直接使用，也可以参考学习”中，“非常酷炫”意味着这些模板可能融合了诸多高级特性，例如动画效果、媒体元素的运用以及响应式设计等，这些都是HTML5技术的优势所在。可以直接使用表明用户无需从零开始编写代码，能迅速搭建出吸引人的网页。同时，这些模板也适合学习，用户通过查看源代码可以了解特定设计和功能的实现方式，从而提升自身的HTML5开发能力。 标签“H5 手机网页 H5源代码 手机html”进一步明确了主题。“H5”是HTML5的简称，“手机网页”和“手机html”则强调这些模板是针对移动设备优化的。在如今移动优先的时代，适应各种屏幕尺寸和触摸操作的网页设计极为重要。这表明这些源码很可能是响应式的，能够根据设备自动调整布局，以适配手机、平板电脑等多种设备。 从“压缩包文件的文件名称列表”来看，虽然无法直接从文件名得知具体源码内容，但可以推测这些文件可能包含多种HTML5模板示例。“不错的样子.txt”可能是一个介绍或说明文件，对模板进行简要描述或提供使用指南。而“1-30”这样的命名方式可能意味着有30个不同的模板实例，每个模板对应一个独立文件，涵盖多种设计风格和功能，为学习和实践提供了全面的平台。 总的来说，这个资源集合为HTML5开发者或初学者提供了一套实用且酷炫的移动网页模板源代码。这些模板既可以直接应用于项目
springboot512基于SpringBoot的私房菜定制上门服务系统的设计与实现pf.zip
06-11
java+vue+springboot源代码+数据库+配套文档+教程
springboot522基于Spring Boot的律师事务所案件管理系统的设计与开发--论文pf.zip
06-11
java+vue+springboot源代码+数据库+配套文档+教程
云计算课程项目：流式与图数据运算、机器学习算法实践及完整代码文档
06-11
学习大数据相关组件使用，包括Spark Streaming流数据计算、Spark GraphX图数据计算、Spark MLlib机器学习（ALS推荐、朴素贝叶斯情感分析、KMeans聚类分析）。资源内容包含流数据计算、图数据计算、机器学习（ALS推荐、朴素贝叶斯情感分析）。代码特点：内含运行结果，参数化编程、参数可方便更改、编程思路清晰、注释明细，经过测试运行成功。适用对象为计算机、电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。内容来源于网络分享，如有侵权请联系我删除。
分布式数据库选型分析.docx
06-11
分布式数据库选型分析.docx
基于人工智能的风力发电场远程集中控制系统.docx
最新发布
06-11
基于人工智能的风力发电场远程集中控制系统.docx
springboot381银行客户管理系统代码--论文pf.zip
06-11
java+vue+Springboot源代码+数据库+配套文档+教程
解释这些参数optional arguments: -h, --help show this help message and exit --host HOST --port PORT --config-installer Open config web page, mainly for windows installer (default: False) --load-installer-config Load all cmd args from installer config file (default: False) --installer-config INSTALLER_CONFIG Config file for windows installer (default: None) --model {lama,ldm,zits,mat,fcf,sd1.5,cv2,manga,sd2,paint_by_example,instruct_pix2pix} --no-half Using full precision model. If your generate result is always black or green, use this argument. (sd/paint_by_exmaple) (default: False) --cpu-offload Offloads all models to CPU, significantly reducing vRAM usage. (sd/paint_by_example) (default: False) --disable-nsfw Disable NSFW checker. (sd/paint_by_example) (default: False) --sd-cpu-textencoder Run Stable Diffusion text encoder model on CPU to save GPU memory. (default: False) --local-files-only Use local files only, not connect to Hugging Face server. (sd/paint_by_example) (default: False) --enable-xformers Enable xFormers optimizations. Requires xformers package has been installed. See: https://github.com/facebookresearch/xformers (sd/paint_by_example) (default: False) --device {cuda,cpu,mps} --gui Launch Lama Cleaner as desktop app (default: False) --no-gui-auto-close Prevent backend auto close after the GUI window closed. (default: False) --gui-size GUI_SIZE GUI_SIZE Set window size for GUI (default: [1600, 1000]) --input INPUT If input is image, it will be loaded by default. If input is directory, you can browse and select image in file manager. (default: None) --output-dir OUTPUT_DIR Result images will be saved to output directory automatically without confirmation. (default: None) --model-dir MODEL_DIR Model download directory (by setting XDG_CACHE_HOME environment variable), by default model downloaded to ~/.cache (default: /Users/cwq/.cache) --disable-model-switch Disable model switch in frontend (default: False)
06-09
- --model {lama,ldm,zits,mat,fcf,sd1.5,cv2,manga,sd2,paint_by_example,instruct_pix2pix}：选择要使用的模型。 - --no-half：使用完整精度模型。如果生成的结果总是黑色或绿色，请使用此参数（仅适用于sd/paint_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值