REGMIX: Data Mixture as Regression for Language Model Pre-training

最新推荐文章于 2025-06-11 15:27:10 发布
最新推荐文章于 2025-06-11 15:27:10 发布
阅读量149 收藏
点赞数 4
分类专栏： LLM Daily 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/144910161
版权

本文是LLM系列文章，针对《REGMIX: Data Mixture as Regression for Language Model Pre-training》的翻译。

REGMIX：数据混合作为语言模型预训练的回归

摘要

大型语言模型预训练的数据混合会显著影响性能，但如何确定有效的混合仍然不清楚。我们建议REGMIX通过将其表述为回归任务来自动识别高性能的数据混合。REGMIX涉及用不同的数据混合物训练一组小模型，并拟合一个回归模型来预测它们在各自混合下的性能。通过拟合回归模型，我们模拟了排名靠前的混合物，并使用它来训练一个计算量高出几个数量级的大规模模型。为了实证验证REGMIX，我们为不同混合物的1B个token训练了512个具有1M参数的模型，以拟合回归模型并找到最佳混合物。使用这种混合物，我们为25B个token（即1000倍大和25倍长）训练了一个1B参数模型，我们发现它在64个具有其他混合物的候选1B参数模型中表现最佳。此外，与人工选择相比，我们的方法表现出了更优的性能，并实现了与DoReMi相匹配或超越的结果，同时只利用了10%的计算预算。我们的实验还表明：（1）数据混合显著影响性能，单任务性能变化高达14.6%；（2） 网络语料库而非维基百科等被视为高质量的数据与下游表现的正相关关系最强；（3） 域以复杂的方式相互作用，通常与常识相矛盾&

了解本专栏 订阅专栏 解锁全文 超级会员免费看
2024年7月2日Arxiv语言模型相关论文
数智笔记
07-02 2188
原标题作者机构摘要: 大语言模型（LLMs）和RAG系统现在能够处理数百万个或更多的输入标记。然而，在长文本任务上评估这些系统的输出质量仍然具有挑战性，因为像“大海捞针”这样的任务缺乏复杂性。在这项工作中，我们认为总结可以在这种评估中发挥核心作用。我们设计了一个程序来合成文件堆，确保特定的“洞见”在文件之间重复出现。然后，“大海捞针摘要”（SummHay）任务要求系统处理文件堆，并生成一个摘要，根据查询确定相关的见解并精确引用源文件。
不同LLM大模型学习：Meta-Llama-3.1/Gemma2 etc.合成数据的重要性
m0_59164520的博客
09-26 960
Llama 3.1 405B 是第一个公开可用的模型，在常识、可操纵性、数学、工具使用和多语言翻译等先进功能方面可与顶级 AI 模型相媲美。使用了15 万亿个 token 训练，使用16000 个 H100 GPU。效果上也是很强数据在预训练15.6T个token之后，对模型进行后训练SFT和DPO，此时上下文从8K增加到128K。使用合成数据来生成绝大多数 SFT 示例，并进行多次迭代以生成涵盖所有功能的越来越高质量的合成数据。
（2025|ICLR|Sea AI & SMU，回归模型，以小见大）RegMix：用于语言模型预训练的作为回归的数据混合
qq_44681809的博客
03-13 1063
本文提出 RegMix，将数据混合问题建模为回归任务，通过训练小规模模型来预测不同数据混合的影响，从而自动选择高性能的数据组合。实验证明 RegMix 在 多种基准任务上超越了人类选择的数据混合策略。
多模态大模型综述，零基础入门到精通，收藏这一篇就够了
Python_0011的博客
09-10 2369
多模态大型语言模型（Multimodal Large Language Models， MLLM）的出现是建立在大型语言模型（Large Language Models， LLM）和大型视觉模型（Large Vision Models， LVM）领域不断突破的基础上的。随着 LLM 在语言理解和推理能力上的逐步增强，指令微调、上下文学习和思维链工具的应用愈加广泛。然而，尽管 LLM 在处理语言任务时表现出色，但在感知和理解图像等视觉信息方面仍然存在明显的短板。
NLP深入学习：《A Survey of Large Language Models》详细学习（三）
日常学习与专研的记录
02-06 1368
本文根据论文《A Survey of Large Language Models》来介绍预训练部分，这是 LLMs 的重要部分！
论文略读：RegMix: Data Mixture as Regression for Language Model Pre-training
最新发布
qq_40206371的博客
06-11 193
RegMix 首先在多种数据混合上训练大量小模型，通过回归模型预测未见数据混合的性能，最后将预测效果最好的混合比例。上训练，用于拟合回归模型并预测最佳混合策略。随后，我们使用该预测的最佳混合比例训练了一个。（即模型大小扩大 1000 倍，训练数据量扩大 25 倍）。大型语言模型（LLM）的预训练数据混合比例对模型性能有显著影响，但。，因此需要 RegMix 这样的自动方法；，以此实现计算资源的大规模放大利用。更进一步，RegMix 在最多。不同领域之间的交互十分复杂，在实证验证中，我们训练了。
数据炼金术：解锁语言模型潜能的CLIMB之旅
步子哥的博客
04-19 1091
CLIMB 就像一位数字化炼金术士，将杂乱无章的网络数据转化为语言模型的“魔法原料”。通过语义聚类、迭代搜索和智能化优化，它不仅提升了模型性能，还为领域专精和高效预训练开辟了新路径。无论是打造通用推理的“全能选手”，还是定制 STEM 领域的“专才”，CLIMB 都展现了无与伦比的灵活性。未来，CLIMB 的理念可以进一步扩展到多模态数据混合、实时数据流优化等领域。就像炼金术士不断探索未知，CLIMB 正引领我们走向数据驱动的智能时代。让我们拭目以待，这场数据炼金之旅将如何重塑人工智能的未来！
【CVPR2022】论文列表与下载——PartThree
TomRen
06-12 4980
【CVPR2022】完整论文列表
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 5256
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
从LLM出发：由浅入深探索AI开发的全流程与简单实践（全文3w字）
码事漫谈
03-17 3435
性能指标：定义评估AI模型性能的关键指标，例如准确率、召回率、F1分数、响应时间等。验收标准：设定模型必须达到的最低性能标准，以确保项目成功。LLM作为现代AI开发的重要工具，通过预训练和微调技术，显著降低了AI开发的门槛，提高了开发效率。LLM在数据处理、特征提取、模型构建、应用部署等环节中都发挥了重要作用，为开发者提供了强大的支持。然而，LLM的开发也面临诸多挑战，如计算资源需求、数据偏见、模型可控性等。未来，随着技术的不断进步，LLM将继续优化，为AI开发带来更多的可能性。
混合分布(mixture distribution)
热门推荐
Precoder的博客
05-26 2万+
在概率与统计中，如果我们有一个包含多个随机变量的随机变量集合，再基于该集合生成一个新的随机变量，则该随机变量的分布称为混合分布(mixture distribution)。具体来说，首先，根据给定概率从集合中随机选取一个随机变量，然后再实现(realize)该随机变量的值。集合中的随机变量可以是随机实数，也可以是随机向量（每个向量的维数相同），在这种情况下，混合分布是多变量分布。   如果集合...
yolo模型精度提升策略
qq_47798402的博客
06-09 820
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 746
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 459
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 1036
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
简繁体智能翻译软件
weixin_62784879的博客
06-09 505
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
打造全国最全的AI Agent开发知识领域的博客
06-11 1476
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
Sklearn 机器学习 缺失值处理 填充数据列的缺失值
Kant2048的博客
06-07 800
使用Scikit-learn处理数据缺失值的完整指南，多种有效的缺失值处理方法。
DeepSeek-V3: A Strong Mixture-of-Experts Language Model
02-01
### DeepSeek-V3混合专家语言模型架构与特性 #### 架构概述 DeepSeek-V3采用了一种基于稀疏门控机制的混合专家(MoE)结构，这种设计允许网络根据不同输入动态激活不同的子网络路径。通过这种方式，在保持计算资源高效利用的同时实现了性能上的显著提升[^1]。 #### 关键组件 - **路由函数(Routing Function)**: 负责决定哪些数据样本应该被发送给特定的专家处理单元。该过程通常依赖于softmax层来分配概率权重。 - **多个独立工作的小型DNN(Experts)**: 这些小型神经网络各自专注于解决不同类型的任务或模式识别问题。当接收到由路由器指派的数据后，它们会并行执行推理操作。 - **融合模块(Gating Network)**: 它接收来自各个专家节点输出的结果，并对其进行加权求和得到最终预测值。此部分同样运用了注意力机制以增强重要特征的影响程度。 #### 特性亮点 - **参数效率(Parameter Efficiency)**: 只有少部分活跃状态下的专家参与前向传播流程，从而减少了整体训练所需的内存占用量以及浮点运算次数[Fewer FLOPs per token processed compared to dense models]. - **可扩展性强**: 随着硬件条件改善和技术进步，可以轻松增加更多种类别的专精领域处理器而不会造成原有体系崩溃. - **多模态支持**: 不仅限于文本序列建模,还能够兼容图像、音频等多种形式的信息表示方法[Multimodal capabilities allow integration of different types of data into a unified framework][^2]. ```python import torch.nn as nn class MoELayer(nn.Module): def __init__(self, num_experts=4, input_dim=768, output_dim=768): super().__init__() self.routing_fn = nn.Linear(input_dim, num_experts) self.expert_layers = nn.ModuleList([nn.TransformerEncoderLayer(d_model=input_dim,nhead=8) for _ in range(num_experts)]) self.gate_layer = nn.Linear(num_experts * input_dim,output_dim) def forward(self,x): route_weights = torch.softmax(self.routing_fn(x),dim=-1).unsqueeze(-1) expert_outputs = [] for i,expert in enumerate(self.expert_layers): out_i = expert(x)*route_weights[:,:,i] expert_outputs.append(out_i) combined_output = torch.cat(expert_outputs,dim=-1) final_out = self.gate_layer(combined_output) return final_out ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值