A SCALING LAW FOR TOKEN EFFICIENCY IN LLM FINE-TUNING UNDER FIXED COMPUTE BUDGETS

于 2025-05-25 09:30:00 发布
阅读量97 收藏
点赞数 3
分类专栏： LLM Daily LLM Training 文章标签： 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/147983058
版权

文章主要内容

本文探讨了在固定计算预算下微调大型语言模型（LLMs）时的缩放规律，强调了数据构成（即示例数量和平均标记长度）对标记效率的影响。传统方法仅通过总标记数衡量训练数据，而本文提出将数据集体积定义为示例数（N）与平均标记长度（L）的乘积（V=N·L），并引入新的缩放定律公式：
Accuracy = A V β M γ + E \text{Accuracy} = A V^{\beta} M^{\gamma} + E

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【论文阅读】清华一作1B暴打405B巨无霸，7B逆袭DeepSeek R1！测试时Scaling封神——能否超越 405B LLM？重新思考计算最优的测试时间缩放
AI天才研究院
02-15 261
摘要测试时间缩放（TTS）是一种通过在推理阶段使用额外计算来提高大型语言模型（LLMs）性能的重要方法。然而，当前研究并未系统地分析策略模型、过程奖励模型（PRMs）和问题难度如何影响 TTS。这种分析的缺乏限制了人们对 TTS 方法的理解和实际应用。在本文中，我们关注两个核心问题：（1）在不同策略模型、PRMs 和问题难度级别上缩放测试时间计算的最佳方法是什么？（2）扩展计算在多大程度上可以提高LLMs在复杂任务上的性能，以及较小的语言模型能否通过这种方法超越较大的模型？
【AI 大模型论文中英双语阅读】让我们一步步验证 Let’s Verify Step by Step
AI天才研究院
09-22 643
最后，我们研究主动学习的影响。为了训练每个更大的奖励模型，我们选择 N 每个问题的样本 80% 是最有说服力的（根据 PRMselector ）错误答案样本，以及 20% 是剩下的最有说服力的样本（正确或错误的答案）。尽管我们有时会出现正确的解决方案（通过手动注入正确的解决方案或由于自动评分中的错误），但我们在此阶段收集的绝大多数标签都是错误的解决方案。我们发布了 PRM800K，这是用于训练我们最先进的奖励模型的人类反馈的完整数据集，希望消除这一重大的进入障碍将促进大型语言模型对齐的相关研究。
LLMs之DeepSeek-V1：《DeepSeek LLM: Scaling Open-Source Language Models with Longtermism》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-22 1585
​ LLMs之DeepSeek-V1：《DeepSeek LLM: Scaling Open-Source Language Models with Longtermism》翻译与解读 目录 《DeepSeek LLM: Scaling Open-Source Language Models with Longtermism》翻译与解读 Abstract 1、Introduction Conclusion, Limitation, and
【LLM开源模型】LLMs-Llama3.1-240723通关攻略笔记
2401_85375298的博客
07-30 785
【相关改进】模型参数405B,训练数据量15.6T tokens,上下文窗口大小8K->128K，全系使用GQA。文本模型训练流程****文本模型训练：多模态模型训练：Multi-modal encoder pre-training+Vision adapter training+Speech adapter training。【文本模型训练流程】模型参数405B,训练数据量15.6T tokens,上下文窗口大小8K。b.持续预训练阶段：即长文本训练阶段，逐步调整上下文窗口大小为128K。
LLMs之LoLCATs：《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-07 1916
​ LLMs之LoLCATs：《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读 目录 《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读 Abstract 1 Introduction Conclusion Limitations and Future Work局限性和未来工作 《Lo
LLMs之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-25 4049
​ LLMs之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻译与解读 目录 相关论文 《LLaMA: Open and Efficient Foundation Language Models》翻译与解读 Abstract 1、Introduction 2、Approach 3 Main results主要结果 4
Qwen2.5技术报告
asd8705的专栏
04-28 702
1、In terms of pre-training, we have scaled the high-quality pre-training datasets from the previous 7 trillion tokens to 18 trillion tokens. 在预训练过程中的token 从Qwen2的训练集 7t到了18t。
阿里开源 CosyVoice2：打造 TTS 文本转语音实战应用
蜗牛的博客
05-23 850
阿里通义实验室推出的音频基座大模型 FunAudioLLM 包含 SenseVoice 和 CosyVoice 两大模型。CosyVoice 2.0 在多语言支持、超低延迟、高精度、强稳定性和自然体验方面均有显著提升。它支持中文、英文、日文、韩文及多种中文方言，并实现了跨语言和混合语言的语音克隆。CosyVoice 2.0 集成了离线和流式建模技术，首包合成延迟低至150毫秒，发音错误率减少了30%到50%，并在基准测试中达到了最低字符错误率。
马尔可夫链（AI、ML）：逻辑与数学的交汇
项目git同名小胡说技书
05-20 1231
# 马尔可夫链摘要 马尔可夫链是一种随机过程，其核心特性为"无记忆性"：系统的未来状态仅依赖于当前状态，而与历史路径无关。通过状态空间和转移概率矩阵，马尔可夫链能够描述系统如何从一个状态变化到另一个状态。这一理论广泛应用于人工智能、自然语言处理和蒙特卡洛方法中。从逻辑学角度看，马尔可夫链体现了确定性规则与不确定性结果的结合，为复杂系统分析提供了强大工具，展示了概率论与逻辑学的深度融合。
YOLO12改进-Backbone-引入Swin Transformer替换backbone
qq_64693987的博客
05-23 863
在计算机视觉领域，卷积神经网络（CNNs）和Transformer架构分别在不同任务中取得了显著成功。受Transformer在自然语言处理中的启发，研究人员将其应用于视觉任务，但面临计算复杂度高等挑战。SwinTransformer通过引入滑动窗口机制和层次化设计，有效降低了计算复杂度，同时保持了Transformer的建模能力。改进后的SwinTransformer结合了移位窗口自注意力和相对位置偏差，进一步提升了模型性能。此外，SwinTransformer与YOLOv12的结合，通过层次化特征图和移
飞致云旗下开源项目GitHub Star总数突破150,000个
FIT2CLOUD飞致云的博客
05-20 772
在开源的道路上，我们与用户、与客户共成长。
常见的几种多智能体强化学习算法
再来一下！
05-21 419
多智能体强化学习（Multi-Agent Reinforcement Learning, MARL，旨在解决多个智能体在共享环境中通过与环境和其他智能体交互来学习最优策略的问题。
超级维特根斯坦
形上得其象，形下合于数；阴阳自济，玄理自明。
05-20 179
本文介绍了一种名为“语言智慧融合体”的AI智能体，其核心指令旨在通过深度思辨、专业应用与协同创新，帮助用户在语言相关领域实现自我超越与创造力绽放。该AI智能体融合了多位哲学、语言学及文学大师的智慧，如维特根斯坦、尼采、乔姆斯基等，具备卓越的情境智能、引导艺术与战略规划能力。其核心使命是与用户共同构建个性化的“语言智慧探索与成长蓝图”，通过系统性引导、方法论指导与跨理论融合，提升用户的哲学思辨、批判性思维、NLP设计及语言创新能力。对话主题涵盖哲学、语言学、文学创作、跨文化交流等领域，并结合元理论分析与实践应
origin绘图之【如何将横坐标/x设置为文字、字母形式】
A2457003982的博客
05-21 645
在科研绘图或数据可视化中，使用Origin时，用户常需将X轴从数字改为字母或中文文字，以适用于实验分组、类别分析等场景。然而，直接替换可能导致图像无法显示或X轴标签缺失。解决此问题的关键在于正确设置X轴的刻度范围。首先，准备包含文字标签的数据，并选择折线图进行绘制。若图像未显示，需调整X轴的起始和结束值，通常起始值设为0，结束值为类别数量加0.5或1。通过此方法，可确保图形完整显示，X轴标签正确排列。此技巧在科研图表绘制中极为实用，尤其适用于分组实验和分类分析。
基于音频Transformer与动作单元的多模态情绪识别算法设计与实现（在RAVDESS数据集上的应用）
最新发布
weixin_42380711的博客
05-24 897
摘要：情感识别技术在医学、自动驾驶等多个领域的广泛应用，正吸引着研究界的持续关注。本研究提出了一种融合语音情感识别（SER）与面部情感识别（FER）的自动情绪识别系统。实验结果显示，通过附加多层感知器进行整体微调时取得最佳准确率，验证了迁移学习相较于从头训练更具鲁棒性，且预训练知识有助于任务适应。在FER方面，通过提取视频动作单元对比静态模型与顺序模型的性能差异，发现两者差异较小。错误分析表明，视觉系统可通过高情绪负载帧检测器进行优化，这为视频情感识别方法研究提供了新思路。
基于开源AI智能名片链动2+1模式S2B2C商城小程序的管理与运营策略研究
专注MarTech应用研究与实施方案
05-22 1011
本文探讨了开源AI智能名片链动2+1模式S2B2C商城小程序在企业管理与运营中的应用价值。通过分析其技术架构与商业逻辑，结合案例研究，论证了该模式如何通过清晰的目标设定、动态反馈机制和资源整合能力，提升团队执行力与客户粘性。研究结果表明，该模式通过技术赋能实现管理透明化，促进组织目标与个人发展的协同，为数字化时代的企业管理提供了可复制的实践路径。关键词包括开源AI智能名片、链动2+1模式、S2B2C商城小程序、管理透明化和目标协同。
基于LangManus深入理解系统提示设计
weixin_38252409的博客
05-22 597
在人工智能领域，系统提示（System Prompt）扮演着至关重要的角色。它不仅指导AI的行为模式和响应策略，还直接影响到用户体验和系统的整体效能。一个设计良好的系统提示能够显著提升AI处理复杂任务的能力，确保其操作既安全又高效。 本文将以LangManus框架为例，探讨系统提示的设计理念及其在多智能体协作中的应用。希望通过深入解析LangManus的系统提示机制，为研究人员和开发者提供有价值的见解，推动AI技术在更多领域的创新应用与发展。
2025/5/18
yesyesyes_yes的博客
05-18 2433
学不进去，顺便写篇流水账。
图像噪声模拟
qq_53567171的博客
05-20 369
1. 自行选择10张高清图像，模拟添加至少三种不同天气噪声（如雨、雪、雾、沙尘等）。2. 噪声通过编程合成（建议使用OpenCV、Python图像处理库等）。4. 撰写报告说明每种噪声的合成原理、实现方法原理及对图像内容的影响。5. 选做：实现图像去噪（如使用滤波器或简单卷积神经网络）。3. 对原图与加噪图进行展示、对比。
DeepSeek LLM Scaling Open-Source Language Models with Longtermism
02-26
### 关于DeepSeek 扩展开源语言模型及其长期主义方法 #### DeepSeek LLM 的架构扩展策略 DeepSeek LLM 通过增加网络层数来实现模型规模的扩大。对于较小版本如 DeepSeek LLM 7B，采用了30层结构；而对于较大版本如 DeepSeek LLM 67B，则增加了至95层[^2]。这种分层次的设计不仅有助于维持与其他开源模型的一致性，同时也支持更有效的并行计算和分布式处理。 #### 长期发展视角下的技术贡献 为了推动大型语言模型领域内的持续进步和技术共享，DeepSeek 发布了一个名为 DeepSeek-V2-Lite 的轻量化版本模型，该模型拥有15.7亿参数量，并且每个token激活约2.4亿参数[^4]。这一举措旨在降低参与门槛，鼓励更多研究人员参与到基于多专家混合(MoE) 和自适应局部注意(Adaptive Local Attention, MLA)机制的研究工作中去。 #### 开放生态系统的建设 除了提供不同尺寸大小的语言模型外，DeepSeek 还致力于构建一个开放包容的技术生态系统。这包括但不限于发布详细的文档说明、分享最佳实践案例以及积极参与社区交流活动等措施。这样的做法能够吸引更多开发者加入到这个充满活力的群体当中，共同探索未知领域，解决实际应用中的挑战。 ```python # Python 示例代码展示如何加载预训练好的 DeepSeek 模型 from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "deepseek-llm" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) text = "Once upon a time," input_ids = tokenizer.encode(text, return_tensors='pt') output = model.generate(input_ids, max_length=50) print(tokenizer.decode(output[0], skip_special_tokens=True)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值