阅读笔记Security and Privacy Challenges of Large Language Models: A Survey

最新推荐文章于 2025-07-13 00:03:24 发布
最新推荐文章于 2025-07-13 00:03:24 发布
阅读量648 收藏 9
点赞数 3
CC 4.0 BY-SA版权
文章标签： 笔记 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yalecaltech/article/details/136372108
这篇综述论文探讨了大型语言模型在安全和隐私方面的问题，包括数据隐私泄露、越狱攻击、防御策略等，强调了跨领域应用的风险及未来研究的必要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文标题： Security and Privacy Challenges of Large Language Models: A Survey

作者： Badhan Chandra Das, M. Hadi Amini, Yanzhao Wu

发表日期： 2024年2月

论文链接： arXiv:2402.00888

摘要：

这篇综述论文全面探讨了大型语言模型（LLMs）在安全性和隐私方面的挑战。LLMs在多个领域展现出了卓越的能力，如文本生成、摘要、语言翻译和问答。然而，这些模型也面临着安全和隐私攻击的脆弱性，例如越狱攻击、数据投毒攻击和个人身份信息（PII）泄露攻击。作者全面回顾了LLMs在训练数据和用户方面的安全和隐私挑战，以及在交通、教育和医疗等不同领域的应用风险。论文评估了LLMs的脆弱性，调查了针对LLMs的新兴安全和隐私攻击，并回顾了潜在的防御机制。此外，论文概述了该领域的现有研究空白，并强调了未来的研究方向。

主要内容：

  1. LLMs的兴起与应用：

    • LLMs在学术和工业界越来越受欢迎，能够处理从日常语言沟通到特定挑战的广泛任务。
    • 它们通过预训练和微调过程，学习语言的深层结构、模式和上下文关系。

  2. 安全与隐私挑战：

最低0.47元/天 解锁文章
Elwood Ying
关注
Security and Privacy Challenges of Large Language Models: A Survey
c_cpp_csharp的专栏
03-07 238
大型语言模型（LLM）已经展现出非凡的能力，并在多个领域做出了贡献，如生成和总结文本、语言翻译和问答。如今，LLM正成为计算机语言处理任务中非常流行的工具，能够分析复杂的语言模式，并根据上下文提供相关和适当的回应。这些模型在提供显著优势的同时，也容易受到安全和隐私攻击，如越狱攻击、数据中毒攻击和个人身份信息（PII）泄露攻击。这项调查全面审查了LLM对训练数据和用户的安全和隐私挑战，以及交通、教育和医疗保健等各个领域中基于应用程序的风险。
论文阅读：2025 ACM Computing Surveys Security and Privacy Challenges of Large Language Models: A Survey
CSPhD-winston的博客
04-17 961
这篇论文主要探讨了大语言模型（LLMs）的安全和隐私挑战，涵盖了攻击类型、防御机制、应用风险、现有研究局限及未来方向等方面。
A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly
c_cpp_csharp的专栏
01-12 622
大型语言模型（LLM），如ChatGPT和Bard，已经彻底改变了自然语言的理解和生成。他们拥有深入的语言理解能力、类人的文本生成能力、上下文意识和强大的解决问题的技能，这使他们在各个领域（如搜索引擎、客户支持、翻译）都非常宝贵。与此同时，LLM也在安全界获得了关注，揭示了安全漏洞，并展示了其在安全相关任务中的潜力。本文探讨了LLM与安全和隐私的交叉点。具体而言，我们调查LLM如何对安全和隐私产生积极影响，与使用LLM相关的潜在风险和威胁，以及LLM中的固有漏洞。
【LLM安全】A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly
qq_43543209的博客
02-26 3206
LLMs在代码安全和数据安全与隐私方面都做出了贡献。在代码安全的背景下，LLMs已经被用于代码(例如,安全编码、测试用例生成、脆弱代码检测、恶意代码检测、代码修复等)的整个生命周期。在数据安全和隐私方面，LLMs已被应用于确保数据完整性、数据机密性、数据可靠性和数据可追溯性。大多数研究人员发现基于LLM的方法优于传统最先进的方法。
论文翻译：2024 High-Confidence Computing A survey on large language model (LLM) security and privacy: The
CSPhD-winston的博客
08-05 1277
大型语言模型（LLMs），如ChatGPT和Bard，已经彻底改变了自然语言理解和生成。它们具有深度语言理解能力、类似人类的文本生成能力、上下文意识和强大的问题解决技能，使它们在各个领域（例如搜索引擎、客户支持、翻译）中变得不可或缺。同时，LLMs也在安全领域获得了关注，揭示了安全漏洞并展示了它们在安全相关任务中的潜力。本文探讨了LLMs与安全性和隐私的交集。具体来说，我们研究了LLMs如何积极影响安全性和隐私，与它们使用相关的潜在风险和威胁，以及LLMs内部的固有漏洞。
论文笔记：PRIVACY ISSUES IN LARGE LANGUAGE MODELS: A SURVEY
qq_40206371的博客
05-10 1032
Carlini等人[2023a]、Kandpal等人[2022]和Lee等人[2022]都发现，即使在训练集中几乎没有重复时，记忆化仍然会发生。这些影子模型用于估计目标数据集的分布，从而更好地推断目标模型的训练数据。在LLMs的情况下，这些模型可能使用数十亿的参数和数据点构建，这通常是非常昂贵的。：在去重后，攻击者选择概率最高的前k个候选目标，这些目标可能包含敏感的训练数据。然而，训练影子模型可能非常昂贵，特别是对于具有数十亿参数和数据点的大型语言模型。减轻记忆化的最直接和即时的方法是去重训练数据集。
大模型安全相关研究
CSPhD-winston的博客
09-11 1090
本文整理了关于大模型安全领域的综合性资源，包括7篇综述论文、9个安全数据集以及5篇强化学习相关的安全研究论文。主要涉及大模型的对抗攻击、隐私保护、安全评估等方向，涵盖TruthfulQA、ToxiGen等知名数据集和TrustLLM、HarmBench等关键研究。资源包括知乎博主分享、arXiv预印本和顶会论文，并附有详细的中文讲解链接，为研究者提供了系统性的安全研究参考。
Towards Next-Generation LLM-based Recommender Systems: A Survey and Beyond (基于大语言模型的推荐系统：综述与展望)-全文翻译
星夜Zn的博客
11-29 1008
面向下一代基于LLM的推荐系统：综述和超越王琦大型语言模型（LLM）不仅彻底改变了自然语言处理（NLP）领域，而且由于其卓越的语言理解能力，以及令人印象深刻的泛化能力和推理能力，有可能在许多其他领域带来范式转变。因此，最近的研究积极尝试利用LLM的力量来改善推荐系统，并且必须彻底审查基于LLM的推荐系统的最新进展和挑战。与现有的工作不同，这项调查并不只是根据LLM的技术框架分析基于LLM的推荐系统的分类。
A Survey on Large Language Model (LLM) Security and Privacy : The Good, the Bad, and the Ugly
m0_64764193的博客
10-22 673
后门攻击：在模型训练过程中植入一个或多个特定的触发器（Trigger），使得模型在遇到带有这些触发器的输入时，会产生攻击者预设的输出，即使这些输入与正常数据看起来非常相似。数据中毒： 数据中毒是指在训练数据中故意注入错误的、有害的或者误导性的数据，目的是在模型训练过程中影响模型的学习效果，导致模型在实际应用中表现不佳或者产生错误的预测。成员资格推断：成员推断攻击是数据安全和隐私领域中的一种特定类型的推断攻击，其确定数据记录是否是模型的训练数据集的一部分，给定对模型和特定数据记录的白色盒/黑盒访问。
A Survey of Backdoor Attacks and Defenses on Large Language Models
c_cpp_csharp的专栏
10-01 275
大型语言模型 (LLM) 弥合了人类语言理解和复杂问题解决之间的差距，在多项 NLP 任务上实现了最先进的性能，特别是在少样本和零样本设置中。尽管 LMM 的功效显而易见，但由于计算资源的限制，用户必须使用开源语言模型或将整个训练过程外包给第三方平台。然而，研究表明，语言模型容易受到潜在安全漏洞的影响，特别是在后门攻击中。后门攻击旨在通过毒害训练样本或模型权重，将目标漏洞引入到语言模型中，从而使攻击者能够通过恶意触发器操纵模型响应。
Breaking Down the Defenses: A Comparative Survey of Attacks on Large Language Models
c_cpp_csharp的专栏
06-25 168
大型语言模型（LLM）已成为自然语言处理（NLP）领域的基石，在理解和生成类人文本方面提供了变革性的能力。然而，随着它们的日益突出，这些模型的安全性和脆弱性方面已经引起了极大的关注。本文对针对LLM的各种形式的攻击进行了全面的调查，讨论了这些攻击的性质和机制、潜在影响以及当前的防御策略。我们深入研究了诸如旨在操纵模型输出的对抗性攻击、影响模型训练的数据中毒以及与训练数据利用相关的隐私问题等主题。本文还探讨了不同攻击方法的有效性、LLM对这些攻击的抵御能力，以及对模型完整性和用户信任的影响。
论文阅读-《A Survey of Large Language Models》
Yogurtboyyy的博客
06-08 2005
LLM综述论文
大型语言模型（LLMs）的后门攻击和防御技术
声纹感知 洞察芯声
06-12 3915
后门攻击是一种针对机器学习模型的恶意攻击方式，旨在在模型中植入隐蔽的恶意代码，使攻击者能够通过特定的触发器操控模型的输出。对于大型语言模型（LLMs）而言，后门攻击是一个潜在的安全威胁，需要引起重视。
【LLM安全】Privacy in Large Language Models: Attacks, Defenses and Future Directions（综述）
qq_43543209的博客
02-27 3833
SMPC协议优化( SMPC Protocol Optimization，SPO )是指利用先进的SMPC协议，在保持原有模型结构的同时，提升LLMs隐私保护推理的效率。隐私攻击的基本理念是，借助更强大的可访问性，攻击者有望恢复更多的敏感信息或获得对受害者LLMs更多的控制权。例如，在仅有黑盒模型访问的情况下，敌手可能会进行训练数据提取攻击，以恢复少量的训练数据。然而，保护LLMs隐私的一个主要挑战在于非线性操作所带来的限制，例如Softmax，GeLU，LayerNorm等，这些操作与SMPC不兼容。
【安全】大模型安全综述
qq_43543209的博客
02-22 1956
主要关注点在于安全应用程序领域，深入研究利用 LLM 发起网络攻击。
【OD机试题解法笔记】分月饼
程序员Xu的博客
07-09 662
中秋节，公司分月饼，m 个员工，买了 n 个月饼，m ≤ n，每个员工至少分 1 个月饼，但可以分多个，单人分到最多月饼的个数是 Max1 ，单人分到第二多月饼个数是 Max2 ，Max1 - Max2 ≤ 3 ，单人分到第 n - 1 多月饼个数是 Max(n-1)，单人分到第 n 多月饼个数是 Max(n) ，Max(n-1) – Max(n) ≤ 3，问有多少种分月饼的方法？12 = 3 + 4 + 5（Max1 = 5, Max2 = 4，Max3 = 3，满足要求）
【学习笔记】Linux命令
最新发布
weixin_41508005的博客
07-13 139
将文件的每一行作为一个单位，从首字符向后，依次按ASCII码值进行比较，最后将它们按升序输出。1. 根据空格来切割字符串，把第一个位置认为是命令，其他的位置认为是命令的参数。3. 外部命令，寻找这个命令的可执行文件file/whereis命令。2. 判断命令是内部的还是外部type命令。num 执行历史命令中的第num行命令。man/help命令：查看命令帮助文档。Ctrl + K：删除光标到行尾内容。Ctrl + C：临时终止命令行命令。Ctrl + Y：粘贴删除的内容。sort命令 信息排序。
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
03-09
### Chain-of-Thought Prompting Mechanism in Large Language Models In large language models, chain-of-thought prompting serves as a method to enhance reasoning capabilities by guiding the model through structured thought processes. This approach involves breaking down complex problems into simpler components and providing step-by-step guidance that mirrors human cognitive processing. The creation of these prompts typically includes selecting examples from training datasets where each example represents part of an overall problem-solving process[^2]. By decomposing tasks into multiple steps, this technique encourages deeper understanding and more accurate predictions compared to traditional methods. For instance, when faced with multi-hop question answering or logical deduction challenges, using such chains allows models not only to generate correct answers but also articulate intermediate thoughts leading up to those conclusions. Such transparency facilitates better interpretability while improving performance on various NLP benchmarks. ```python def create_chain_of_thought_prompt(task_description, examples): """ Creates a chain-of-thought prompt based on given task description and examples. Args: task_description (str): Description of the task at hand. examples (list): List containing tuples of input-output pairs used for demonstration purposes. Returns: str: Formatted string representing the final prompt including both instructions and sample cases. """ formatted_examples = "\n".join([f"Input: {ex[0]}, Output: {ex[1]}" for ex in examples]) return f""" Task: {task_description} Examples: {formatted_examples} Now try solving similar questions following above pattern. """ # Example usage examples = [ ("What color do you get mixing red and blue?", "Purple"), ("If it rains tomorrow, will we have our picnic?", "No") ] print(create_chain_of_thought_prompt("Solve logic puzzles", examples)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值