A Survey on Data Security in Large Language Models

文章主要内容总结

本文是一篇关于大型语言模型（LLMs）数据安全的综述，系统梳理了LLMs面临的数据安全风险、现有防御策略、相关评估数据集及未来研究方向，具体内容如下：

1. 数据安全风险：重点分析了五类核心风险，包括数据污染（通过恶意训练数据操纵模型行为）、提示注入（恶意提示覆盖模型原始指令）、幻觉（生成看似合理但错误的信息）、提示泄露（泄露系统提示等敏感信息）和偏见（模型继承训练数据中的社会偏见）。
2. 防御策略：综述了三类主流防御方法，包括对抗性训练（通过对抗样本提升模型鲁棒性）、基于人类反馈的强化学习（RLHF，通过人类偏好优化模型输出）、数据增强（通过扩充训练数据多样性缓解偏见等问题）。
3. 评估数据集：分类介绍了不同领域的数据集（如电影、新闻、社会、书籍等），这些数据集用于评估LLMs在安全和鲁棒性方面的表现。
4. 未来方向：提出五大研究方向，包括构建鲁棒的对抗防御机制、建立数据溯源与可追踪性框架、开发安全的模型持续学习方法、推进可解释性驱动的安全分析、制定LLM数据治理的伦理与监管框架。

文章创新点

1. 系统性风险分类：首次针对LLMs的独特性，详细分类了数据安全风险（如数据污染、提示注入等），明确每个风险的攻击目标、策略及潜在后果，填补了现有研究对LLMs全生命周期威胁覆盖不足的空白。
2. 全面防御机制评估：系统梳理了对抗性训练