Small Language Model Is a Good Guide for Large Language Model in Chinese Entity Relation Extraction

小语言模型指导大模型：解决汉语实体关系提取中的长尾问题
最新推荐文章于 2025-11-24 14:29:41 发布
最新推荐文章于 2025-11-24 14:29:41 发布
阅读量314 收藏
点赞数 4
CC 4.0 BY-SA版权
分类专栏： LLM Daily LLM for NLP 文章标签： 语言模型 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138335230

本文是LLM系列文章，针对《Small Language Model Is a Good Guide for Large Language Model in Chinese Entity Relation Extraction》的翻译。

小语言模型是大语言模型在汉语实体关系提取中的良好指导

摘要

最近，大型语言模型（LLM）在关系提取（RE）任务中取得了成功，尤其是在小样本学习中。RE领域的一个重要问题是长尾数据，而目前使用LLM方法对这个问题没有太多关注。因此，在本文中，我们提出了SLCoLM，一个模型协作框架，以缓解数据长尾问题。在我们的框架中，我们使用“训练指南预测”策略来结合预训练的语言模型（PLM）和LLM的优势，其中特定任务的PLM框架充当导师，将任务知识传递给LLM，并指导LLM执行RE任务。我们在一个富含关系类型的RE数据集上的实验表明，本文的方法有助于长尾关系类型的RE。

1 引言

2 相关工作

了解本专栏 订阅专栏 解锁全文 超级会员免费看
小语言模型:为业务需求定制AI
qq_20182781的博客
09-22 1203
通过提供量身定制的、具有成本效益的解决方案，slm使公司能够利用 AI 的力量，而无需大型模型的复杂性和资源需求。无论您是希望改善患者护理的医疗保健提供商、旨在增强客户体验的零售商，还是寻求市场洞察力的企业，slm 都能提供在日益数字化的世界中保持竞争力所需的精度和效率。那些希望利用人工智能的企业来说是一个明智的举措，同时又不需要高昂的价格和大型模型的复杂性。想象一个技艺高超的工匠，他对自己的手艺了如指掌，但并不试图掌握每一项可能的技能——slm 是为了在自己的领域中脱颖而出而设计的。
Small Language Models Fine-tuned to Coordinate Larger Language Models Improve Complex Reasoning
weixin_43961909的博客
11-15 894
提示生成思路链 (CoT) 的大型语言模型 (LLM) 表现出令人印象深刻的推理能力。最近尝试快速分解以解决复杂的多步骤推理问题，这取决于 LLM 同时分解和解决问题的能力。一个显着的缺点是基础 LLM 通常不适用于微调，这使得自适应在计算上过于困难。我们相信（并证明）问题分解和解决方案生成是不同的功能，最好在单独的模块中解决，而不是通过一个单片 LLM 解决。我们引入了 DaSLaM，它使用分解生成器将复杂问题分解为需要更少推理步骤的子问题。这些子问题由求解器回答。
【论文阅读】Text Is All You Need: Learning Language Representations for Sequential Recommendation
Junewang0614的博客
08-04 1687
今年KDD上一篇paper，通过学习语言表征的方式进行序列推荐，特点之一是摒弃了传统推荐中使用的ID，用key:value格式的item属性，也就是item的内容来表示item。
小型语言模型（Small Language Models，SLM）
weixin_43156294的博客
05-24 1657
小型语言模型（Small Language Models，SLM）是人工智能领域中的一种技术，它指的是相对于大型语言模型而言，规模较小、参数数量较少的模型。这些模型通常在处理特定任务或领域时，能够以较低的计算成本实现相对不错的性能。小型语言模型在资源有限、需要快速部署或对实时性要求较高的应用场景中非常实用。
小型语言模型（LLM）综述!
m0_63171455的博客
10-31 1325
本文的主要贡献如下：针对从业者提供了一篇全面的小型语言模型综述。我们还综述了文献中提到的问题设置、评估指标和数据集。我们引入了几个直观的小型语言模型分类法，并使用这些分类法对现有研究进行了综述。我们识别了小型语言模型的重要应用、开放问题和挑战，为未来的研究提供了方向。
强化学习@AAAI2019
热门推荐
qq_33254440的博客
10-08 1万+
Fully Convolutional Network with Multi-Step Reinforcement Learning for Image Processing 具有多步强化学习的全卷积网络用于图像处理 Ryosuke Furuta@The University of TokyoNaoto Inoue@The University of TokyoToshihiko Yamasaki@The University of Tokyo 古田凉介@东京大学井上直人@东京大学山崎俊彦@东京大学 AAA
ICCV2017论文摘要汇总
super_chicken的博客
04-18 7353
1. Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence Abstract: Estimating the 6-DoF pose of a camera from a single image relative to a pre-computed 3D p...
python瓦登尔湖词频统计
weixin_30500105的博客
11-01 5916
#瓦登尔湖词频统计： import string path = 'D:/python3/Walden.txt' with open(path,'r',encoding= 'utf-8') as text: words = [raw_word.strip(string.punctuation).lower() for raw_word in text.read().split()...
论文解读：It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners
夏栀的博客
10-16 1700
论文解读：It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners   PET作者认为之前的PET只能生成single task，本文则将PET拓展为多个token生成； 简要信息： 序号 属性 值 1 模型名称 PET 2 所属领域 自然语言处理；文本分类 3 研究内容 预训练语言模型；Prompt框架 4 核心内容 Prompt-based Fine-tuning 5
【AI视野·今日NLP 自然语言处理论文速览 第七十八期】Wed, 17 Jan 2024
TomRen
02-14 2182
AI视野·今日CS.NLP 自然语言处理论文速览 Wed, 17 Jan 2024 (showing first 100 of 163 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers Deductive Closure Training of Language Models for Coherence, Accuracy, and Updatability Authors Afr
小模型大能量！10款高性能小模型，媲美大型模型！
2401_82426425的博客
01-15 4211
本文提出了Mixtral 8x7B，这是一种稀疏专家混合 （SMoE） 语言模型，在数学、代码生成和多语言基准测试方面远远优于 Llama 2 70B，并提供了一个经过微调以遵循指令的模型 Mixtral 8x7B - Instruct，它在人类基准测试中超过了 GPT-3.5 Turbo、Claude-2.1、Gemini Pro 和 Llama 2 70B - 聊天模型。这些小模型的出现，不仅为研究和应用带来了更多的可能性，也让我们重新审视模型大小与性能之间的关系。Zephyr：LM取向的直接蒸馏。
AAAI2025 Accepted Papers（六）
前行居士
03-14 1809
AAAI2025 accepted papers
解读小模型——SLM
我相信......
12-01 1632
【引】如果希望从文献途径了解一个新的领域，该领域的相关survey 论文可能是一个较好的切入点，对于日新月异的AI领域尤其如此。”Small Language Models: Survey, Measurements and Insights”一文（https://arxiv.org/pdf/2409.15790）或许可以帮助我们更好地了解SLM。大模型的世界几乎每天都在发生变化。一方面，人们越来...
北邮&剑桥最新SLM（小语言模型）研究综述
jude2013的专栏
09-28 1744
他们根据模型在常识推理和问题解决任务上的平均准确率，将过去三年的SLMs分为小于0.5B、1B、2B和3B的参数组，并分析了这些数据集的质量。这些训练算法的引入和应用，为SLMs的性能提升和应用范围拓展提供了新的可能性。通过这些方法，研究者能够更有效地利用有限的资源来训练出性能更强的模型，同时保持模型的尺寸和运行成本在可接受的范围内。知识蒸馏是大型语言模型（LLMs）领域的一个重要概念，它涉及从大型复杂的教师模型中提取有价值的知识，并将其传递给更小、更高效的学生模型。
英伟达重磅研究：小模型如何撑起智能体未来，成本降低90%的架构设计！
2401_84204413的博客
10-30 579
英伟达研究指出，小模型(10B以下)是智能体AI的未来，因其能高效处理大多数日常任务，大幅降低成本和延迟。研究表明40%-70%的智能体调用可由小模型替代，它们在推理、代码生成等方面已接近或超过上一代大模型，且支持本地部署提升安全性。作者提出异构架构：日常任务由小模型处理，复杂任务调用LLM，并提供了完整迁移流程，打破"越大越好"的AI发展思维。
一篇小型语言模型技术最新全面综述
AIBigModel的博客
11-22 499
模型规格：提供了一些代表性的通用领域SLMs的详细信息，包括参数数量、发布日期、许可证、用途、语言支持、架构、层数、隐藏层大小、注意力头数、激活函数、架构技术、分词器、上下文长度和词汇表大小等。知识蒸馏（Knowledge Distillation）：通过训练一个小型的“学生”模型来模仿一个大型的“教师”模型的输出，从而在小型模型中保留大型模型的知识。预训练范式：从BERT的预训练和微调范式，到T5的预训练加提示方法，再到GPT-3的预训练加上下文学习，这些技术显著提升了NLP的应用范围。
LLM 时代小模型的应用情况分析
2401_84495872的博客
04-27 1447
小语言模型（Small Language Model，SLM）又被称作专业大模型（Specific Language Model，SLM），是指相对于大型语言模型而言，规模较小、参数数量较少,但在特定任务上表现出色的模型。•从参数数量上来看大模型通常指具有百万级、千万级甚至亿级参数的神经网络模型，如：GPT-3 为 175B、ERNIE 4.0 (百度) 为 100B 等。小模型相对于大模型参数数量较少，如：MobileLLM 为 125M、 Phi-3 为 3.8B 等。•从训练数据量来看。
走向通用智能的大语言模型：具身、符号落地、因果与记忆的统一认知视角
nmdbbzcl的博客
11-23 1003
如果真要靠大语言模型（LLM）走向人工通用智能（AGI），缺的到底是什么？arXiv作者的态度很明确：今天的多模态大模型已经很强，但“聪明得很表面”，距离真正的“通用智能”还差一大截。
PaLM：Pathways 驱动的大规模语言模型 scaling 实践
最新发布
m0_65010824的博客
11-24 543
本文是对论文《PaLM: Scaling Language Modeling with Pathways》的深度解读。在大模型研究领域，如何实现高效规模化训练并解锁复杂任务能力，是核心挑战。Google Research 团队提出的 PaLM 模型，以 5400 亿参数稠密 Transformer 为基础，借助 Pathways 系统实现跨 TPU Pod 高效训练，在少样本推理、代码生成等任务中刷新 SOTA，为大模型规模化研究提供关键参考。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值