Rephrasing the Web: A Recipe for Compute and Data-Efficient Language Modeling

最新推荐文章于 2025-06-11 17:14:38 发布
最新推荐文章于 2025-06-11 17:14:38 发布
阅读量1.1k 收藏 18
点赞数 29
文章标签： 语言模型 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136056818
版权
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文是LLM系列文章，针对《Rephrasing the Web: A Recipe for Compute and Data-Efficient Language Modeling》的翻译。

重新表述Web：计算和数据高效语言建模的诀窍

摘要

大型语言模型是在大量的网络碎片上训练的，这些碎片通常是非结构化的、嘈杂的和措辞不当的。当前的缩放定律表明，从这些数据中学习需要大量的计算和数据，这些计算和数据会随着训练模型的大小而增长。这是不可行的，因为与预训练相关的大量计算成本和持续时间，以及网络上高质量数据的稀缺性。在这项工作中，我们提出了网络转述增强预训练（WRAP），它使用现成的指令调整模型，提示以特定的风格（如“像维基百科”或“问答格式”）转述网络上的文档，以联合对LLM进行真实和合成转述的预训练。首先，我们展示了在C4数据集上使用WRAP，它是自然噪声的，可以将预训练速度提高约3倍。在相同的训练前计算预算下，它在Pile的不同子集中平均提高了10%以上的困惑，并在13个任务中提高了2%以上的零样本问答准确率。其次，我们研究了重新措辞风格对模型性能的影响，深入了解了训练数据的组成如何影响OOD环境中LLM的性能。我们的收益归因于这样一个事实，即重新措辞的合成数据比真正的数据具有更高的效用，因为它（i）包含了密切反映下游评估风格的风格多样性，以及ÿ

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

2024~LLM发展方向
whaosoft143ai的博客
02-22 734
另外，相对于传统的集成方法（需要同时运行多个模型），经过权重平均得到的模型相对轻量，在推理时间的成本并不会超过单个模型。类似于创建集成模型的概念，这种将多个模型组合成一个模型的思想可以提升训练的收敛、提升整体性能和提升稳健性。需要强调的是，不同于传统的集成方法，模型融合和权重平均会得到一个单一模型，而不是维护多个分立的模型，如下图所示。Mixtral 8x7B 是一种稀疏的混合专家（稀疏 MoE）模型，目前是性能最佳的大型语言模型（LLM）之一，同时也是最受人关注的一种公开可用的 LLM。whaosoft
51c大模型~合集99
whaosoft~aiotの开发板商城
12-31 1462
最成功的≠最复杂的高端的食材，往往需要最朴素的烹饪方式。AI 发展到后半场「大雾散去」，如何让大模型的智力落实成执行力，智能体似乎成了业界的共同答案。从元宝到混元，各类智能体平台如雨后春笋般涌现。上个月，智谱发布 AutoGLM 的发布会上，智能体好像突破了次元壁，一句指令，就拿着手机在现场发了一个总计两万块钱的红包。我们正在见证一个重要的转折点：智能体正在将 AI 的能力从「能说会道」转变为「能做会干」。作为最强大模型厂商的有力竞争者，Anthropic 推出的智能体功能也着实惊艳了我们一把。
插件8：拼写检查
热门推荐
dearbaba_1666的博客
06-27 15万+
<?php // Plug-in 8: Spell Check // This is an executable example with additional code supplie
yolo模型精度提升策略
qq_47798402的博客
06-09 633
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 558
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 316
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
简繁体智能翻译软件
weixin_62784879的博客
06-09 414
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 889
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
打造全国最全的AI Agent开发知识领域的博客
06-11 1191
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
Sklearn 机器学习 缺失值处理 填充数据列的缺失值
Kant2048的博客
06-07 586
使用Scikit-learn处理数据缺失值的完整指南，多种有效的缺失值处理方法。
（五）动手学深度学习计算：从数学原理到高效实现的全流程指南
hanyuge的专栏
06-08 667
在实际应用中，我们常常需要自定义层和块来实现特定的功能。PyTorch提供了灵活的API来创建自定义层和块。无参数层：实现不包含可学习参数的层，如激活函数层。return torch.sigmoid(x) # 示例：Sigmoid激活函数含参数层：实现包含可学习参数的层，如自定义的全连接层。组合层：将多个层组合成一个块，实现复杂的功能。return x层是深度学习模型的基本构建块，执行特定的计算任务。块是由多个层组成的模块，提高代码的可读性和可维护性。
职业生涯思考
fuyouzhiyi的博客
06-06 565
这种复杂的感受，我来帮你试着梳理出来。如果你觉得某些句子正好说中了你，就把它留下。
【强化学习】——04Model-Based RL
Piccaboo的博客
06-07 664
一是，算法收敛后的策略在初始状态下的期望回报二是，算法达到收敛结果需要的样本数量基于模型的算法得益于这个环境模型，Agent对真实环境中的样本量的需求往往会减少通常具备较低的样本复杂度，但由于环境模型不可能完全准确，因此其期望回报通常较低之前的Model-Free RL中，Agent只可以与环境进行交互如果环境模型已知，那么Agent可以与模型进行交互，基于模型来规划或决策这个模型的作用在于提供环境状态转移概率和预测生成的奖励，以产生或优化策略MPR状态转移函数Ps′∣sa奖励函数Rs。
钉钉C10圆桌派在北京召开 AI一体机首次签约
weixin_43735236的博客
06-09 139
一体机也提供多种AI助理，覆盖审批、工单、行政、法务等多个高频场景，可广泛应用于零售、连锁、生产制造、教育、法律服务等众多行业，帮助企业进一步提质降本增效，数智化升级。通过部署钉钉AI一体机，杰锐思打造了装配助手、代码助手等AI应用，实现了从知识检索到业务协同的全链路升级，在数据安全的基础上，进一步实现了增效降本和效率提升。6月6日，钉钉在北京举办C10圆桌派-AI专场思享会，会上，钉钉和苏州杰锐思智能科技股份有限公司（以下简称：杰锐思）就AI一体机应用签署合作协议，这是钉钉首次在客户落地AI一体机实践。
CppCon 2015 学习:Algorithmic Differentiation C++ & Extremum Estimation
虾球
06-10 806
浮点数表示法的灵感：科学记数法浮点数的表示方法受到科学记数法的启发。x×baseexponentx×baseexponent6.022×10236.022×1023这种表示法使得我们能够处理非常大的数（如102310^{23}1023）以及非常小的数（如10−2310^{-23}10−23），并且有效地表示各种数值。
【DAY43】复习日
daomingwu1的博客
06-08 312
kaggle找到一个图像数据集，用cnn网络进行训练并且用grad-cam做可视化。内容来自@浙大疏锦行python打卡训练营。进阶：并拆分成多个文件。
Python 训练营打卡 Day 45
2401_86382089的博客
06-06 553
你可以用它直观看到训练过程中的数据变化（比如损失值、准确率）、模型结构、数据分布等，不用盯着一堆枯燥的数字看，对新手非常友好，目前这个工具还在不断发展，比如一些额外功能在tensorboardX上存在，但是我们目前只需要要用到最经典的几个功能即可。如果只用 print(损失值) 或者自己用 matplotlib 画图，不仅麻烦，还得手动保存数据、写代码，尤其训练几天几夜时，根本没法实时盯着看。而 TensorBoard 能自动把这些数据 “存下来 + 画出来”，还能生成网页版的可视化界面，随时刷新查看！
立足数字人文，深化历史叙事|科学智能赋能人文社科领域研究
ModelWhale的博客
06-10 724
2024年12月，山东大学同智谱、和鲸共同发布“边疆大模型暨综合智能体”，并签署“101 数智领航计划”，助力高校人才培养模式的持续变革，推动人才培养由“知识为主”向“能力为先”转变。其底层接入外挂知识库的大语言模型，具备准确回答边疆历史文化问题的能力。，以前沿数字技术为边疆历史及更广范围的人文研究提供坚实新基建，并在此基础上开发面向研究者与公众的创新应用，确保专业知识的高效、准确传播。，可以将专业知识“注入”大模型，使其成为研究者专属的、更懂行的智能助手，辅助文献研读、事实核查、乃至启发新的研究思路。
“十五五”时期智慧城市赋能全国一体化数据市场建设：战略路径与政策建议[ 注：本建议基于公开政策文件与行业实践研究，数据引用截至2025年6月11日。]
最新发布
qiongfang2008的专栏
06-11 464
我国正处于数字经济与实体经济融合的关键阶段，数据作为新质生产力核心引擎，亟需通过智慧城市建设破解“数据供不出、流不动”等痛点。智慧城市作为数据要素核心载体，其“五个转变”（央地协同、全局优化、用户视角、数据业务化、长效运营）与全国一体化数据市场建设高度契合。2025年数据要素市场规模预计达1990亿元，智慧城市将通过激活公共数据、赋能产业转型、构建可信环境，成为数据价值转化关键节点。本文通过对智慧城市赋能全国一体化数据市场建设现状与挑战分析，提出了一套供参考的智慧城市引领数据市场一体化解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值