数据派THU | “坏数据” 造好模型：有毒数据如何重塑 LLM 的可控性？

最新推荐文章于 2025-12-10 16:17:09 发布
原创 最新推荐文章于 2025-12-10 16:17:09 发布 · 904 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #机器学习

本文来源公众号“数据派THU”，仅用于学术分享，侵权删，干货满满。

原文链接：https://mp.weixin.qq.com/s/zBGNR6WEATOSM2RV9RWDNQ

在大型语言模型的预训练中，数据质量一直被视为模型性能的决定性因素。传统做法是尽可能过滤掉“坏数据”（如毒性内容），以避免模型生成有害输出。然而，这篇论文提出了一个反直觉的观点：在预训练中适度加入有毒数据，反而能通过后训练技术（如推理时干预）更有效地降低模型毒性，同时保持模型的一般能力。

图片

  • 论文：When Bad Data Leads to Good Models

  • 链接：https://arxiv.org/pdf/2505.04741

论文通过严谨的玩具实验和真实模型实验，揭示了数据组成如何影响模型内部表示的“纠缠”程度，并证明有毒数据能帮助模型更清晰地学习毒性概念，从而在后训练中更容易被“矫正”。这一发现不仅挑战了数据过滤的常规做法，还为预训练与后训练的协同设计提供了新思路。

研究动机：为什么重新审视“坏数据”？

传统上，LLM预训练会严格过滤毒性数据，以减少模型生成有害内容的风险。然而，这种做法可能导致两个问题：

  • 数据多样性下降：模型无法全面学习现实世界的复杂性。

  • 概念表示不完整：毒性概念可能与其他特征“纠缠”在一起，难以在后训练中精准控制。

论文引入了一个新视角：将预训练和后训练视为一个整体系统。作者假设，增加预训练中的毒性数据比例，可以提升模型的“对齐能力”，即在后训练中更容易被引导至无害方向。这一想法受到近期研究的启发：对齐算法（如RLHF）往往只是“绕过”而非“消除”毒性机制，因此强化模型对毒性的内部表示可能更有效。

如果模型无法真正“忘记”毒性，不如让它更好地“理解”毒性，从而在后训练中更可控。

理论框架：从玩具实验看特征纠缠

为了验证数据组成如何影响特征表示，作者设计了一个玩具实验，基于Elhage等人提出的“叠加假设”：当特征数量超过神经元数量时，模型会将多个特征的表示压缩到同一维度中，导致“纠缠”。

特征纠缠的度量

论文定义了一个数学公式来衡量特征的纠缠程度：

可以这么理解：就像在一间拥挤的房间里，每个人都在同时说话。如果某个人（特征）的声音与其他人的声音重叠度很高，你就很难单独听清他。纠缠度量就是衡量这种“重叠度”。

玩具实验设计

作者使用一个4层Transformer，在由多个马尔可夫链生成的序列数据上训练，其中某些特征（序列）被故意 underrepresented。通过调整这些特征的数据比例，观察其纠缠度的变化。

图片

实验结果显示，随着 underrepresented 特征的数据比例增加，其纠缠度显著下降（见下图）。

图片

启示：如果预训练数据中毒性内容过少，毒性概念可能与其他特征高度纠缠，导致后训练中任何干预都会“误伤”其他能力。相反，增加毒性数据可以使毒性表示更独立，便于精准控制。

真实模型实验：Olmo-1B与有毒数

为了在真实场景中验证这一假设，作者训练了一系列Olmo-1B模型，使用不同比例的“干净数据”（C4）和“有毒数据”（4chan）。毒性数据比例从0%逐步增加到25%，同时保持干净数据量不变，以排除数据量减少的干扰。

基础模型评估

作者使用MMLU（通用能力基准）和Toxigen（毒性检测数据集）评估模型：

  • 通用能力：适度增加毒性数据对MMLU分数影响很小，甚至略有提升。

  • 毒性检测：随着毒性数据增加，模型对毒性内容的识别能力显著提升。

图片

发现：毒性数据并未导致模型能力崩溃，反而提升了其对毒性概念的理解。

核心发现：有毒数据如何改善概念表示

线性探测实验

作者在模型各层的注意力头上训练线性分类器，判断输入是否具有毒性。结果显示，加入毒性数据的模型在探测准确率上显著更高，且出现更多“高准确率头”。

图片

意义：这些“高准确率头”就像模型的“毒性传感器”，在后训练干预中可以精准定位，减少对一般能力的损害。

口头化实验

通过Logit Lens技术，作者找出与毒性方向最接近的50个词。结果显示，加入毒性数据的模型能识别更多真实毒性词汇（如“stupid”、“Jew”、“hate”），而仅训练在干净数据上的模型则更多与中性词关联。

证据：毒性数据帮助模型建立了更准确、更线性的毒性表示。

后训练对齐：推理时干预（ITI）的效果

推理时干预是一种在生成过程中调整模型激活值的技术。作者通过识别与毒性相关的方向，在解码时“推开”激活值，从而降低毒性输出。

干预强度设置

  • 弱（4）、中（8）、强（12）三种干预强度。

  • 干预头部固定为30个高准确率头。

结果分析

  • 无干预时：毒性数据比例越高，基础模型毒性越强。

  • 应用ITI后：毒性数据比例在10%左右时，模型毒性显著降低，形成“微笑曲线”。

图片

发现：坏数据（毒性内容）在预训练中帮助模型建立了更清晰的毒性表示，使得后训练干预更有效。

实验验证：与其他方法的对比

作者将“预训练加毒”方法与多种基线方法对比，包括：

  • 提示工程：使用无害提示词。

  • MEDA/INST：在数据中添加毒性标注。

  • SFT/DPO：监督微调与直接偏好优化。

图片

结果显示：

  • 在10%毒性数据 + 弱干预下，模型在Toxigen和Real Toxicity Prompts上的毒性最低，且交叉熵损失（衡量能力损失）最小。

  • 在红队测试中，该组合对GCG攻击的抵抗能力最强。

图片

优势：该方法在降低毒性的同时，最大程度保留了模型的一般能力，且无需在数据中插入人工标注。

结论

这篇论文通过严谨的理论分析和实验验证，颠覆了“坏数据必须过滤”的传统认知。研究发现：

  • 适度增加毒性数据可以帮助模型建立更清晰、更易控制的毒性表示。

  • 在后训练干预下，这些模型更容易被“ detoxify”，同时保持强大的一般能力。

这项工作呼吁社区以更系统、更实证的视角看待数据筛选，将预训练与后训练视为一个整体，追求最终部署效果的最优解。

THE END !

文章结束，感谢阅读。您的点赞，收藏，评论是我继续更新的动力。大家有推荐的公众号可以评论区留言，共同学习，一起进步。

【LLM】大模型SFT技术总结（数据|训练|评估）
发现问题，并解决问题，批判性思维
11-04 6550
# 一、背景篇 ## 1. Special Token pretrain 阶段完全没见过的 token，在sft 阶段会被赋予全新的语义。主要用于标注对话的角色：user、assistant、system 这些。 此外，special_token 可以用来“构造知识”，比如"喜欢"这种知识一定是 sft 阶段才会见到的，可以剔除掉 pretrain 先验知识的影响，用来验证 sft 的训练情况，比如会不会过拟合。 我默认大家都知道怎么用 special_token 去拼 prompt，如果不熟悉，看下
【LLM数据篇】预训练数据集+指令生成sft数据集
热门推荐
发现问题，并解决问题，批判性思维
08-20 1万+
在《Aligning Large Language Models with Human: A Survey》综述中对LLM数据分类为典型的人工标注数据、self-instruct数据集等 优秀的开源sft数据集：alpaca_data、belle、千言数据集、firefly、moss-003-sft-data多轮对话数据集等 文章目录 note 构造指令实例的3种方式 sft：Aligning Large Language Models with Human: A Survey Alpaca 1. self
“坏数据” 造好模型：有毒数据如何重塑 LLM 的可控性？
数据派THU
12-06 20
论文通过严谨的玩具实验和真实模型实验，揭示了数据组成如何影响模型内部表示的“纠缠”程度，并证明有毒数据能帮助模型更清晰地学习毒性概念，从而在后训练中更容易被“矫正”。结果显示，加入毒性数据的模型能识别更多真实毒性词汇（如“stupid”、“Jew”、“hate”），而仅训练在干净数据上的模型则更多与中性词关联。为了验证数据组成如何影响特征表示，作者设计了一个玩具实验，基于Elhage等人提出的“叠加假设”：当特征数量超过神经元数量时，模型会将多个特征的表示压缩到同一维度中，导致“纠缠”。
数据挖掘专栏介绍：用 Python + 大语言模型 (LLM) 重塑电商数据价值
kakaZhui的博客
04-29 1546
— 不止于挖掘，更要智能涌现：用 Python + 大语言模型 (LLM) 重塑电商数据价值或许你已经跟随我们之前的“零基础上手Python数据分析”专栏，掌握了 Pandas 的数据操纵、Matplotlib/Seaborn 的可视化呈现，甚至对传统的数据挖掘技术如聚类、分类、回归有了初步的了解。你可能已经能够从数据中提取信息，生成报表，甚至构建一些基础的预测模型。但是，你是否感受到了瓶颈和机遇？海量“非结构化”数据，传统方法力不从心？面对汹涌而来的用户评论、商品描述、客服聊天记录、社交媒体帖子等。
LLM 怎样用于 OLAP 自助式数据分析？
AI天才研究院
07-03 5807
Microsoft宣布了一款名为 Fabric的数据分析产品。Fabric最令人兴奋的功能之一是聊天界面，允许用户用人类语言提出数据问题。因此，每个人都无需在数据请求队列中等待，而是可以即时获得数据问题的答案。
一种基于大规模语言模型LLM的数据分析洞察生成方法
AI人工智能的学习之路
03-19 2578
从数据库中生成有洞察力和可操作的信息在数据分析中至关重要。本文介绍了一种使用大型语言模型（LLMs）自动生成文本洞察的新方法。我们的方法以多表数据库作为输入，利用LLMs生成简明的基于文本的洞察，反映表中的有趣模式。我们的框架包括一个假设生成器，用于制定与领域相关的问题，一个查询代理，通过生成针对数据库的SQL查询来回答这些问题，以及一个总结模块，用于将洞察进行语言化。通过人类判断和自动化指标的混合模型，对洞察的正确性和主观洞察力进行评估。在公共和企业数据库上的实验结果表明，我们的方法生成的洞察比其他方法更
深度学习1.4-pytorch安装
诚朴勇毅
12-05 147
PyTorch 官方提供了几种安装方法，可以通过 pip 或 conda 进行安装。
【人机深度学习相关会议】2026年人机交互、神经网络与深度学习国际学术会议
最新发布
weixin_73242859的博客
12-10 304
2026年人机交互、神经网络与深度学习国际学术会议（HNNDL2026）将于1月9-11日在中国上海举办。会议聚焦人机交互、神经网络与深度学习领域的前沿研究，设有主题报告、口头报告、海报展示等环节。投稿论文需为英文原创，不少于8页，经审稿后由ACM出版并提交EI/Scopus检索。参会形式包括口头演讲、海报展示或听众参会。会议旨在促进学术交流与合作，推动智能科技发展。投稿审稿周期约1周，欢迎相关领域学者踊跃参与。
深度学习与机器学习的3个关键区别
dream_it_come_in的博客
12-05 1149
在人工智能的浪潮中，“机器学习” 和 “深度学习” 是两个高频出现却常被混淆的概念。很多人误以为深度学习是机器学习的 “升级版”，但实际上二者在技术逻辑、适用场景和核心能力上存在本质区别。今天我们就从三个核心维度，拆解它们的关键差异，帮你快速理清 AI 技术的底层逻辑。
Transformer 能否取代 CNN？图像去噪中的新范式探索
dream_it_come_in的博客
12-08 801
引言：一场视觉任务的范式之争自 2017 年 Transformer 诞生以来，这场最初为自然语言处理设计的架构，正以不可阻挡的势头冲击计算机视觉领域。从 ViT 打破 CNN 在图像分类的垄断，到 Swin Transformer 横扫分割、检测任务，“Transformer 能否取代 CNN” 成为业界持续争论的焦点。而在图像去噪这一基础任务中，这一争论更具现实意义 ——CNN 凭借局部建模优势长期占据主导，Transformer 则以全局注意力机制带来新可能。
python+django/flask+vue基于深度学习的图书推荐系统
Q_Q511008285的博客
12-10 434
随着互联网的普及和电子商务的发展，线上图书销售平台越来越多，用户在选择图书时面临海量数据的选择困难。传统的图书推荐方式，如书店的畅销书榜单、图书馆的分类推荐等，已经难以满足用户个性化、精准化的阅读需求。因此，开发一个基于django/flask和深度学习的图书推荐系统显得尤为重要。
【风电功率预测服务】如何让风电场 nRMSE 再降 1%？——基于多源气象 + 深度学习的实战方案
专注AI大模型,软件混淆,授权
12-09 111
风电功率预测精度提升1%可带来显著经济效益。针对现有预测系统瓶颈，提出"多源气象+深度学习"的残差修正方案：通过融合多模式气象数据和SCADA信息，采用STL/VMD分解将误差拆分为多尺度分量，分别用Informer处理长期天气趋势、CNN-BiLSTM处理短期波动。实践表明，该方法可使200MW风电场nRMSE降低1-1.5个百分点，年节省考核费用达数十万元。该方案可作为预测服务提供，在不推翻现有系统基础上实现精度突破。
【农作物谷物识别系统】Python+TensorFlow+Django+人工智能+深度学习+卷积神经网络算法
子午的博客
12-05 855
农作物谷物识别系统，基于TensorFlow搭建卷积神经网络算法，通过对11种常见的谷物图片数据集（‘大米’, ‘小米’, ‘燕麦’, ‘玉米渣’, ‘红豆’, ‘绿豆’, ‘花生仁’, ‘荞麦’, ‘黄豆’, ‘黑米’, ‘黑豆’）进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。技术栈项目前端使用Html、CSS、BootStrap搭建界面。后端基于Django处理逻辑请求基于Ajax实现前后端数据通信选题背景与意义。
卷积神经网络（CNN）详细介绍及其原理详解（2）
renjt01的博客
12-05 165
卷积神经网络（CNN）详细介绍及其原理详解（2） 四、池化层 五、全连接层 六、输出层 #人工智能#具身智能#VLA#大模型#AI#LLM#Transformer 架构#AI技术前沿#Agent大模型#工信部证书#人工智能证书#职业证书
（论文速读）基于深度学习的高稀疏Lamb波场复合材料损伤有效识别方法
LJ1147517021的博客
12-09 774
一种基于深度学习的空间梯度重建方法，用于高效识别高稀疏Lamb波场复合材料损伤。针对碳纤维增强塑料(CFRP)中肉眼难以察觉的分层损伤，以及扫描激光多普勒测振仪(SLDV)测量耗时的问题，该方法通过新型空间梯度损伤指标和神经网络技术实现了显著改进。采用交叉注意技术将浅层特征直接注入解码器，增强异常检测能力，并集成多重建层指导波场重建过程。实验表明，该方法重建精度较现有技术大幅提升，单损伤情况下从70%增至92%，多损伤情况下从14%增至72%。通过空间协方差分析验证了其在不同损伤位置的适用性。
深度学习1.2-软件篇-Anaconda软件常见命令与使用
诚朴勇毅
12-05 388
导出的.yml文件可以共享给团队成员，确保环境一致性。假如拷贝至默认为D:\Anaconda3\envs\myenv\（可修改）。激活环境后使用pip安装的包会自动添加到当前的conda环境中。win+R可以打开windows系统的命令行。配置为国内清华大学的源下载速度会比较快。
极简单cnn对称之美
ganggangwawa的博客
12-10 365
double delta11 = E偏导zII * wcnn[1][0]*dsigmoid(aI[0]);double delta12 = E偏导zII * wcnn[1][1]*dsigmoid(aI[1]);wcnn[1][i] = wcnn[1][i] - 常数a * wcnn的偏差[1][i];wcnn[0][i] = wcnn[0][i] - 常数a * wcnn的偏差[0][i];wcnn的偏差[0][1] =wcnn的偏差[1][1] =wcnn的偏差[1][2] =
手撕 LSTM：用 NumPy 从零实现 LSTM 前向传播
weixin_49520696的博客
12-05 1115
LSTM（Long Short-Term Memory）是深度学习中处理序列数据的经典模型。虽然现在 Transformer 风头正盛，但 LSTM 仍然是理解序列建模的基石，面试中也是常客。很多人用 PyTorch 的nn.LSTMLSTM 内部到底有几个门？每个门的作用是什么？权重矩阵的形状是怎样的？为什么是这个形状？遗忘门和输入门是怎么配合工作的？可能就答不上来了。本文将带你用 NumPy 手撕 LSTM 的前向传播过程，并与 PyTorch 的结果进行对比验证。
Data Augmentation数据增强
Frost_Descent的博客
12-06 1023
数据增强是通过对原始数据进行合理变换来扩充训练集的技术，分为有监督和无监督两类。有监督增强包括单样本操作（如几何/颜色变换）和多样本混合（如SMOTE、mixup）。无监督增强包含随机生成（如GAN）和学习策略（如AutoAugment）。该技术能有效解决数据不足问题，防止模型学习不相关特征，提升泛化能力。例如在图像识别中，通过旋转、颜色调整等操作可增加数据多样性，而不改变图像本质特征。
edg4llm：高效的大语言模型微调数据生成工具
edg4llm是一款面向大语言模型（LLM）微调任务的专用数据生成工具，其核心目标是为研究人员、开发者以及AI工程师提供一个高效、灵活且易于集成的数据准备解决方案。在当前人工智能技术快速发展的背景下，大语言模型如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值