Selecting Large Language Model to Fine-tune via Rectified Scaling Law

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量103 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Training 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137232845
LLM 日更 同时被 2 个专栏收录
828 篇文章

已下架不支持订阅

LLM Training
97 篇文章
订阅专栏
本文探讨了在资源有限的情况下，如何利用修正的缩放定律选择最佳的大型语言模型（LLM）进行微调。研究发现微调过程中的标度曲线存在‘预功率阶段’，这是现有标度定律未涵盖的。通过引入‘预先学习的数据大小’，提出的修正定律能更好地预测微调性能。由此，作者提出了一种新算法，以较低成本选择接近最优的LLM，提高了微调效率。

本文是LLM系列文章，针对《Selecting Large Language Model to Fine-tune via Rectified Scaling Law》的翻译。

选择大型语言模型通过校正比例律进行微调

摘要

LLM不断增长的生态系统在众多选择中选择最合适的预训练模型进行微调方面提出了挑战。在资源有限的情况下，对所有模型进行微调并在之后进行选择是不现实的。在这项工作中，我们将这种资源约束的选择任务公式化为预测微调性能，并说明其与缩放定律的自然联系。与预训练不同，我们发现微调标度曲线不仅包括众所周知的“功率阶段”，还包括以前未观察到的“预功率阶段”。我们还解释了为什么现有的标度定律在理论和经验上都未能捕捉到这种相变现象。为了解决这一问题，我们将“预先学习的数据大小”的概念引入到我们修正的缩放定律中，它克服了理论上的局限性，更适合实验结果。通过利用我们的定律，我们提出了一种新的LLM选择算法，该算法以数百倍的资源消耗来选择接近最优的模型，而其他方法可能提供负相关的选择。

1 引言

2 用于微调的LLM选择框架

3 微调的标度律分析

4 LLM选择

5 相关工作及展望

6 局限性

7 结论

本文主要关注两个领域：探索LLM微调的比例律和解决选择LLM进行有效微调的挑战。我们揭示了传统标度律的不足，并

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

LLMs：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读之Datasets数据集
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-20 1487
​ LLMs：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读之Datasets数据集 目录 相关文章 《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译 3 Datasets指令微调数据集 相关文章 LLMs：《Instruction T
数字星辰间的谜题：从有机数据到合成数据的语言模型扩缩律
步子哥的博客
03-29 676
当我们仰望星空，思索宇宙的无限奥秘时，也许鲜有人注意到隐藏在数字世界之中同样神秘而有序的规律。正如宇宙中的行星运动遵循万有引力定律，语言模型的表现也与数据规模密不可分。近年来，随着预训练语言模型（LLMs）在各个领域大放异彩，对高质量训练数据的需求日益旺盛，而传统的网络数据正逐渐趋于饱和。此时，作为一种新兴的替代资源，悄然成为研究者关注的焦点。
12C ORA-错误汇总10 ORA-12500 to ORA-19400
热门推荐
badman250的专栏
03-02 3万+
ORA-12500: TNS:listener failed to start a dedicated server process Cause: The process of starting up a dedicated server process failed. The executable could not be found or the environment may be se
七月论文审稿GPT第2.5和第3版：分别微调GPT3.5、Llama2 13B以扩大对GPT4的优势
结构之法 算法之道
02-04 5687
我司自去年7月份成立大模型项目团队以来，至今已有5个项目组，其中所有项目均为会对外上线发布的商用项目，而论文审稿GPT至今在过去的半年已经迭代两个版本，其中第二版的效果甚至超过了GPT4(详见《)，为了持续累积与原始GPT4的优势，我们如今正在迭代第2.5版本：包括对GPT3.5 turbo 16K的微调以及llama2 13B的微调，本文也因此而成。
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(二)
yinizhilianlove的博客
02-21 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
大规模视觉识别挑战赛ILSVRC2015各团队结果和方法 Large Scale Visual Recognition Challenge 2015...
weixin_30672295的博客
03-31 9961
Large Scale Visual Recognition Challenge 2015 (ILSVRC2015) Legend: Yellow background = winner in this task according to this metric; authors are willing to reveal the method White backg...
[C3] Andrew Ng - Neural Networks and Deep Learning
weixin_30393907的博客
04-14 2787
About this Course If you want to break into cutting-edge AI, this course will help you do so. Deep learning engineers are highly sought after, and mastering deep learning will give you numerous new ca...
CVPR2017论文摘要汇总
super_chicken的博客
04-09 1万+
1. Exclusivity-Consistency Regularized Multi-view Subspace Clustering Abstract: Multi-view subspace clustering aims to partition a set of multi-source data into their underlying groups. To boost the ...
Scaling law or Scaling LLM Test-Time? Scaling LLM Test-Time介绍
Dar_Alpha的博客
11-23 1383
google的Scaling LLM Test-Time介绍
Mask-CNN Localizing Parts and Selecting Descriptors for Fine-Grained Image Recognition
bingling92的博客
08-16 959
Mask-CNN: Localizing Parts and Selecting Descriptors for Fine-Grained Image Recognition 作者：魏秀参，Chen-Wei Xie，Jianxin Wu 来自：南京大学新型软件技术国家重点实验室 Abstract 细粒度的图像识别是一个具有挑战性的计算机视觉问题，这是由于由高度相似的下属类别引起的较小的类别间变化以及姿势，比例和旋转的较大的类别内变化。在本文中，我们提出了一种新颖的端到端Mask-CNN模型，该模型无需全连接
Instruction Mining:High-Quality Instruction Data Selection for Large Language Models
Hanze的博客
07-14 1137
本文提出了一种通过线性规则筛选高质量数据的方案（有种套娃的感觉），目前验证指令数据的质量的方法大多数采用GPT+Few Shot 或者 微调+验证的方案，作者认为这种方法太贵了，提出了一种通过indicator过滤数据的方法，不用微调模型就可以相对评估指令数据的方案。由于微调+推理不是那么高效，所以作者定义了一个·indicaor :=I，把这个评估的过程想成一个房价预测的过程，每个indicator就是影响房价的因素，如城市、人口，而在本文中表示指令的长度、奖励模型的分数等等。
总结-NuerIPS2023-Direct Preference Optimization:Your Language Model is Secretly a Reward Model
m0_60361484的博客
09-27 1304
对比PPO，DPO的泛化能力更强。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 215
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 341
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 593
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 240
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1822
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 488
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 243
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
03-09
### Chain-of-Thought Prompting Mechanism in Large Language Models In large language models, chain-of-thought prompting serves as a method to enhance reasoning capabilities by guiding the model through structured thought processes. This approach involves breaking down complex problems into simpler components and providing step-by-step guidance that mirrors human cognitive processing. The creation of these prompts typically includes selecting examples from training datasets where each example represents part of an overall problem-solving process[^2]. By decomposing tasks into multiple steps, this technique encourages deeper understanding and more accurate predictions compared to traditional methods. For instance, when faced with multi-hop question answering or logical deduction challenges, using such chains allows models not only to generate correct answers but also articulate intermediate thoughts leading up to those conclusions. Such transparency facilitates better interpretability while improving performance on various NLP benchmarks. ```python def create_chain_of_thought_prompt(task_description, examples): """ Creates a chain-of-thought prompt based on given task description and examples. Args: task_description (str): Description of the task at hand. examples (list): List containing tuples of input-output pairs used for demonstration purposes. Returns: str: Formatted string representing the final prompt including both instructions and sample cases. """ formatted_examples = "\n".join([f"Input: {ex[0]}, Output: {ex[1]}" for ex in examples]) return f""" Task: {task_description} Examples: {formatted_examples} Now try solving similar questions following above pattern. """ # Example usage examples = [ ("What color do you get mixing red and blue?", "Purple"), ("If it rains tomorrow, will we have our picnic?", "No") ] print(create_chain_of_thought_prompt("Solve logic puzzles", examples)) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值