2024NIPS-runner up-Not All Tokens Are What You Need for Pretraining

于 2025-12-20 07:30:00 发布
阅读量70 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： LLM Daily Best Papers 文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/156044811

在这里插入图片描述

文章核心总结与翻译

主要内容

文章提出传统语言模型预训练对所有 tokens 统一应用下一个 token 预测损失的方式并非最优，进而推出基于选择性语言建模（SLM）的 RHO-1 模型。通过分析 token 级训练动态，发现不同 tokens 存在各异的损失模式，SLM 借助参考模型对 tokens 评分，仅聚焦高价值 tokens 训练。在数学任务上，RHO-1 用少量训练 tokens 就实现了 SOTA 结果；在通用任务上，也显著提升了数据效率和模型性能，同时验证了无高质量参考数据时自参考策略的有效性。

创新点

  1. 打破“所有 tokens 对训练同等重要”的传统认知，首次深入分析 token 级训练动态，划分出四类具有不同损失轨迹的 tokens。
  2. 提出选择性语言建模（SLM）框架，通过参考模型评分筛选高价值 tokens 进行针对性训练，而非训练全部 tokens。
  3. 实现极高的数据效率，在数学任务中仅用 3% 的预训练 tokens 就匹配了现有模型性能，通用任务中平均提升 6.8%，且支持自参考模式适配无高质量数据场景。

翻译部分（Markdown 格式）

Abstract<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【论文笔记】MaskFormer: Per-Pixel Classification is Not All You Need for Semantic Segmentation
bikahuli的博客
12-19 1万+
论文地址：https://papers.nips.cc/paper/2021/file/950a4152c2b4aa3ad78bdd6b366cc179-Paper.pdf 项目地址：https://github.com/facebookresearch/MaskFormer 现在的方法通常将语义分割制定为per-pixel classification任务，而实例分割则使用mask classification来处理。 本文作者的观点是：mask classification完全可以通用，即可以使用..
文献阅读（48）NIPS2017-Attention Is All You Need
优快云TianJi的博客
06-09 1270
本文是对《Attention Is All You Need》一文的浅显翻译与理解，如有侵权即刻删除。
【免费下载】 NIPS 2017 论文《Attention is all you need》 中文翻译版本
gitblog_06681的博客
09-26 2411
NIPS 2017 论文《Attention is all you need》 中文翻译版本 【下载地址】NIPS2017论文Attentionisallyouneed中文翻译版本 NIPS 2017 论文《Attention is all you need》 中文翻译版本 ...
LV-ViT：All Tokens Matter: Token Labeling for Training Better Vision Transformers
qq_45122568的博客
07-01 3005
这篇文章是对ViT训练的一种增强方法LV-ViT。以往的Vision Transformer 分类任务都只是应用class token聚集全局信息，用于最后的分类。作者提出将patch token也用作loss的计算。相当于将一张图像的分类问题，转换成了每个token的识别问题，每个token的分类标签是由机器生成的监督（supervision）。原文链接：All Tokens Matter: Token Labeling for Training Better Vision Transformers ..
Attention Is All You Need (NIPS 2017)
77wpa的博客
06-30 2445
占主导地位的序列转导模型基于复杂的递归或卷积神经网络，包括编码器和解码器。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单网络架构，即Transformer，它完全基于注意力机制，完全省去了递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上优越，同时更具并行性，并且需要更少的训练时间。我们的模型在WMT 2014英语到德语翻译任务中实现了28.4 BLEU，比现有的最佳结果（包括组合）提高了2个以上BLEU。
Attention Is All You Need
热门推荐
程永强
05-11 4万+
Attention Is All You Need 注意力机制是你需要的全部 Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin attention [ə'tenʃ(ə)n]：n. 注意，关注，注意力，关心 int. 注意，立正 attention mechanism：注意力机制 Computer Science，CS：
【大模型系列篇】论文解读：Transformer - Attention Is All You Need
木亦汐丫
08-09 3570
当今大模型初学者必读的一篇论文，已经有不少业内大佬都翻译解读过这篇论文，此处仅作为自己学习的记录。该论文是由谷歌机器翻译团队于2017年发表在NIPS ，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为Encoder-Decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。
Attention is all you need -- 阅读笔记
Tender_Li的博客
12-09 3304
这篇文章是2017年发表在NIPS会议上的论文，也是Transformer的开山之作。最先应用是在NLP领域的机器翻译任务上，由于其简单的结构、强悍的表现，经过几年的发展，越来越多的领域开始使用基于Transformer的深度学习网络。下面是我自己的一点学习笔记，记录下来方便以后复习。（中间有很多是在原文的基础上进行翻译的，有不准确的地方希望大家见谅，也希望大家不吝指正） Abstract 目前主流（2017年以前）主流的序列转换模型基于复杂的循环或卷积神经网络，其中包含编码器和解码器。...
Transformer--Attention is All You Need (推荐--非常详细)
秋水顽石
03-19 5249
文章目录论文地址模型提出的背景（或者动机）本论文模型---TranformerModel ArchitectureEncoderDecoderAttentionScaled Dot-Product AttentionMulti-Head AttentionPosition-wise Feed-Forward NetworksEmbeddings and SoftmaxPositional Enco...
[NIPS2021]MLP-Mixer: An all-MLP Architecture for Vision
shenlanshenyanai的博客
02-10 1948
卷积神经网络（CNN）是计算机视觉的首选模型。最近，基于注意力的网络（例如ViT）也变得很流行。在本文中，我们表明，尽管卷积和注意力都足以获得良好的性能，但它们都不是必需的。文章介绍了MLP-Mixer，这是一种仅基于多层感知机（MLP）的体系结构。MLP-Mixer包含两种类型的层：一种具有独立应用于图像patches的MLP（即“混合”每个位置特征），另一种具有跨patches应用的MLP（即“混合”空间信息）。 论文地址：https://arxiv.org/pdf/2105.01601.pdf ..
精选资源
NIPS-2017-attention-is-all-you-need-Paper.pdf
08-09
在给定的内容中，我们可以提取出关于深度学习和自然语言处理（NLP）的若干关键知识点。以下是对这些知识点的详细说明： 1. **序列转换模型（Sequence Transduction Models）**： - 描述中提到目前主要的序列转换...
NIPS-2017-attention-is-all-you-need-Paper-中文翻译版本.docx
01-27
Attention is All You Need 本篇论文的主要贡献在于提出了一种新的序列转导模型架构，称为Transformer，它完全基于自我注意机制，避免了递归和卷积神经网络。这种模型架构可以在机器翻译任务中达到 state-of-the-...
AI 工具实战测评：从技术性能到场景落地的全方位解析
hello world/linux
12-16 751
数据分析Agent白皮书：揭秘Data x AI的底层逻辑与未来关键
LyAGent的博客
12-18 802
《2025数据分析Agent白皮书》指出，数据分析Agent正成为AI落地的核心形态，实现从"人人分析"到"人人消费"的转变。白皮书系统解析了其技术架构（包括Query/Document/DeepAnalyze三大Agent能力）、行业实践（能源/制造/零售等领域）及落地路径，强调需突破数据准度、分析深度与消费广度三大挑战。未来，数据分析Agent将深度融入业务流程，推动"洞察即行动"的自动化决策模式。该技术有望彻底改变企业数据消费方式，使数据智能
以太联的自愈功能与看门狗机制解析
suzhou_speeder的博客
12-15 1260
看门狗(Watchdog)是一种硬件或软件实现的定时器机制，其核心功能是监控系统或程序的运行状态，防止程序跑飞或陷入死循环。案例：车载以太网交换机通过硬件看门狗实时监测链路状态，若检测到链路中断(如3ms内未收到心跳包)，立即启用备用路径，确保刹车、转向等关键系统永不掉线。案例：某智能工厂的PLC(可编程逻辑控制器)采用软件看门狗，若主程序因干扰死机，看门狗机制自动重启PLC，恢复生产流程。三者协同工作，实现“设备-交换机-网络”三级自愈，显著提升网络可靠性、降低运维成本，并为企业数字化转型提供坚实基础。
多模态赋能情绪理解：Qwen3-VL+LLaMA-Factory 的人脸情绪识别实战
Lab4AI的博客
12-17 798
本项目依托Lab4AI平台，基于LLaMA-Factory成功对Qwen3-VL进行了完整的微调流程。我们将传统的人脸情绪识别任务与多模态大语言模型（MLLM）相结合，探索了MLLM在视觉情绪理解中的应用。通过微调Qwen3-VL，我们成功将传统的分类任务转化为多模态推理任务，显著提升了模型在复杂场景下的鲁棒性和准确率。这一方案不仅在人脸情绪识别上取得了显著提升，还为其他视觉任务的多模态大模型应用提供了新的思路，具有广泛的应用前景。
Transformer架构的原理是什么？
SACKings的博客
12-15 740
对于“Thinking”这个词，它的输出向量可能包含了90%它自己的信息和10%“Machines”的信息。而对于“Machines”，它的输出可能包含了70%它自己的信息和30%“Thinking”的信息。Transformer 架构的原理是理解现代大模型（如 GPT、BERT、T5 等）的基石。正是因为这些原理上的优势，Transformer才取代了RNN和CNN，成为了当今AI大模型时代的统治性架构。的（打乱输入顺序，输出可能不变），它没有内置的位置概念。Q·K 然后Softmax。
全品类电商AI助手诞生，AI试衣+万饰穿戴+图生视频，覆盖全链路
最新发布
Dreamshop_AI的博客
12-19 824
DreamshopAI升级推出三大核心功能，全面革新电商视觉生产流程：AI试衣功能通过智能识别服装款式和材质，7-15天模特拍摄缩短至几分钟；万饰穿戴功能突破品类限制，精准还原珠宝、箱包等商品的材质细节；图生视频功能将静态图片转化为高质量短视频，大幅降低视频制作门槛。系统基于千万级电商数据训练，能自动适配不同市场需求，并推出AI试衣屏Dreamfit实现线上线下体验闭环。此次升级使AI成为电商运营的核心生产力工具，将传统视觉制作效率提升3倍以上，推动电商行业进入智能化新阶段。
深入NVIDIA Nemotron-3：高效准确的技术、工具与数据深度解析
专注于人工智能领域的小何尚
12-18 755
摘要：NVIDIA Nemotron-3技术解析 NVIDIA Nemotron-3系列模型为构建专业AI智能体提供了突破性解决方案。该系列采用创新的混合Mamba-Transformer MoE架构，结合状态空间模型(Mamba)的长序列处理能力、Transformer的精确推理和MoE的高效计算，支持高达100万token的上下文处理。模型通过NeMo Gym多环境强化学习框架训练，使智能体掌握复杂任务执行能力。技术亮点包括：1)混合架构实现超长上下文推理；2)开源RL训练环境支持智能体开发；3)原生支
深信服NIPS - 1000 - B1120设备Console口的密码
11-29
<think> 嗯，用户再次询问深信服NIPS-1000-B1120设备的Console口密码问题，看来这个问题对ta很关键。之前已经明确告知过设备没有统一默认密码，但用户似乎仍希望找到直接可用的密码，可能需要更强调安全风险。 用户可能是企业网管，遇到设备锁定的紧急情况。ta连续两次追问同样内容，说明要么没注意到首次回复的关键信息，要么处境焦虑——毕竟Console密码丢失意味着设备可能完全失控。不过奇怪的是，用户完全没提密码重置操作，或许ta没有物理接触设备的权限？ 这次要更结构化地强调三点：再次否定默认密码的存在（避免用户继续无谓尝试），详细说明密码重置流程（帮ta解决实际问题），补充安全规范（预防后续问题）。特别要注意提醒断电风险，工业设备操作不当可能导致业务中断。 设备手册没公开密码重置步骤是合理的，毕竟涉及安全底线。但用户可能需要知道：恢复模式通常要拆机短接跳线，部分型号甚至需要返厂。这些细节虽然敏感，但比起让用户乱试导致设备变砖，不如适度预警。 最后生成的问题要覆盖用户可能的后续需求：密码复杂度要求（很多企业合规需要）、远程管理替代方案（万一Console口物理损坏）、配置备份（重置密码会清空配置）。尤其备份这点容易被忽视，等用户重置完发现规则全没了就晚了…… </think>关于深信服NIPS-1000-B1120设备的Console口密码，需明确以下关键信息： ### 重要说明 1. **无统一默认密码** 该设备**不存在出厂统一默认的Console密码**。深信服企业级设备首次使用时需通过Console口初始化配置，此时会强制要求管理员设置专属密码[^1]。 2. **遗忘密码的解决方案** 若遗忘密码，需通过硬件重置流程恢复（操作前务必保存配置）： ```mermaid graph LR A[断开设备电源] --> B[按住RESET按钮] B --> C[重新通电并保持10秒] C --> D[释放RESET按钮] D --> E[重启后恢复出厂设置] ``` > ⚠️ 警告：此操作将清除所有配置，需提前备份配置文件[^1]。 3. **密码安全规范** 根据深信服安全建议： - 密码长度 ≥ 8位，需包含大小写字母、数字及特殊符号 - 避免使用admin/root等弱口令 - 定期90天强制更换密码 $$ \text{密码强度} \propto \frac{\text{字符多样性} \times \text{长度}}{\text{可预测性}} $$ ### 操作建议 1. **首次连接** 使用Console线连接后，设备会自动进入初始化向导引导设置密码。 2. **企业级管理要求** 建议启用TACACS+/RADIUS认证（企业版支持），避免依赖本地密码： ```bash # 示例：配置RADIUS服务器 config authentication add radius-server 192.168.1.10 key=STRONG_KEY ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值