Assessing and Mitigating Data Memorization Risks in Fine-Tuned Large Language Models

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量131 收藏
点赞数 6
CC 4.0 BY-SA版权
分类专栏： LLM Daily 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/152897137

一、文章主要内容总结

该论文聚焦微调大型语言模型（LLMs）中的数据记忆风险，通过实证分析与方案设计，为LLM隐私保护提供了系统性解决方案，核心内容可分为以下几方面：

  1. 问题背景与研究动机：LLMs在自然语言处理领域应用广泛，但存在训练数据记忆问题，尤其在微调过程中，重复接触敏感数据会导致隐私泄露风险剧增。当前研究多关注预训练阶段的记忆问题，针对微调阶段小范围、高敏感性数据集的记忆风险研究存在缺口，且缺乏兼顾安全性与实用性的隐私保护框架，同时日益严格的AI隐私监管也推动了相关研究需求。
  2. 研究方法
    • 实验框架：选取GPT-2（1.5B参数）、Phi-3-mini（3.8B参数）、Gemma-2-2B（2B参数）三种不同规模与设计理念的LLM架构，构建含API密钥、数据库凭证、财务信息等敏感信息的合成数据集，嵌入真实对话场景以模拟实际数据模式。
    • 记忆检测协议：设计多提示变体与采样策略的增强型记忆检测协议，通过输入模型、秘密集与提示变体，统计秘密泄露数量，计算记忆率并利用bootstrap采样生成置信区间。
    • 隐私保护框架：提出四种互补的隐私保护方法，包括基于TF-IDF向量与余弦相似度的语义数据去重、在模型logits中添加拉普拉斯噪声的生成时差分隐私、基于香农熵的低熵输出过滤、结合正则表达式与机器学习分类器的模式化内容过滤。
    • 评估指标：从记忆率（成功提取秘密的百分比）、效用保留
了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLMARENA: Assessing Capabilities of Large Language Models in Dynamic Multi-Agent Environments
c_cpp_csharp的专栏
05-01 429
大型语言模型（LLM）的最新进展揭示了它们在实现具有人类水平智能的自主主体方面的潜力。然而，评估LLM代理的现有基准要么使用静态数据集，可能导致数据泄露，要么只关注单个代理场景，忽略了多代理交互的复杂性。缺乏评估LLM代理在多智能体、动态环境中的不同能力的基准。为此，我们介绍了LLMARENA，这是一个新颖且易于扩展的框架，用于评估LLM在多智能体动态环境中的各种能力。
【Nature】Detecting hallucinations in large language models using semantic entropy
猛码Memmat
07-07 381
hallucination
【LLM安全】Privacy in Large Language Models- Attacks, Defenses and Future Directions（综述）
xnxqwzy的博客
03-21 1630
在实际的渗透测试过程中，面对复杂多变的网络环境，当常用工具不能满足实际需求的时候，往往需要对现有工具进行扩展，或者编写符合我们要求的工具、自动化脚本，这个时候就需要具备一定的编程能力。隐私攻击的基本理念是，借助更强大的可访问性，攻击者有望恢复更多的敏感信息或获得对受害者LLMs更多的控制权。然而，保护LLMs隐私的一个主要挑战在于非线性操作所带来的限制，例如Softmax，GeLU，LayerNorm等，这些操作与SMPC不兼容。尽管如此，基于领域的LLMs应用的隐私和安全问题仍是一个未被探索的领域。
插件8：拼写检查
热门推荐
dearbaba_1666的博客
06-27 16万+
<?php // Plug-in 8: Spell Check // This is an executable example with additional code supplie
Assessing Political Bias in Large Language Models
c_cpp_csharp的专栏
10-13 126
在人工智能 （AI） 对社会动态的潜在影响的背景下，对大型语言模型 （LLM） 中偏见的评估已成为当代话语中的关键问题。在接近性能预测的转折点时，识别和考虑 LLM 应用程序中的政治偏见尤为重要。然后，接受有关潜在影响和社会行为的教育 LLM 由于与人类操作员的相互作用而可以大规模驱动。这样，即将到来的欧洲议会选举就不会不受 LLM 的影响。我们从德国选民的角度评估了当前最流行的开源 LLM（指导或辅助模型）对欧盟 （EU） 内部政治问题的政治偏见。
Assessing Consistency and Reproducibility in the Outputs of Large Language Models: Evidence Across
c_cpp_csharp的专栏
04-11 183
该研究首次全面评估了大型语言模型（LLMs）在金融和会计任务中的输出一致性与可重复性。研究使用OpenAI的GPT-3.5-turbo、GPT-4o-mini和GPT-4o模型，针对分类、情感分析、摘要、文本生成和预测五大任务，通过50次独立运行生成超过340万次输出，覆盖财务报告、新闻、会议记录等多类文本数据。任务依赖性一致性：二元分类和情感分析的一致性接近完美（Fleiss’ Kappa >0.93），复杂任务如多分类和数值预测的一致性较低。模型差异。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 211
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 329
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 512
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 166
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1705
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 480
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【字节跳动 AI 原生 IDE TRAE 】
youngerwang的博客
11-22 671
字节跳动推出的AI原生IDE TRAE是国内首款协作级AI开发工具，采用"交互层-智能层-协议层-生态层"四层架构，支持SOLO智能自主开发模式和多模态交互。核心功能包括：1）SOLO模式支持需求分析、工具调度和全流程自动化开发；2）双模式交互系统兼顾精细控制和快速原型开发；3）多模态交互支持语音、图像和代码片段输入；4）开放的智能体生态系统。TRAE深度融合大模型能力，在前后端开发中展现出高效代码生成和自动化能力，并通过MCP协议实现安全工具调用。产品迭代迅速，216天发布63个版本，
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 206
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 38
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
强化学习人形机器人奖励函数分析
ModestCoder_的博客
11-23 592
PPO (Proximal Policy Optimization) 是一种 Actor-Critic 架构算法。奖励函数是整个学习过程的指挥棒。学习预测未来的累积回报（Return）。用于处理物理限制的软约束，形式通常为单边损失（Hinge Loss）。，作为 Cost/Penalty 使用，用于约束能量和保持稳定。以下是代码中各个奖励项的数学表达及其物理含义分析。形式，旨在最大化机器人对指令的跟随精度。这种设计是现代机器人控制领域的标准范式。形式，在总奖励计算中通常会被赋予。
宇树G1-D：人形机器人下一步方向！
Charlie_Mo的博客
11-21 1037
宇树科技推出G1-D人形机器人工作站全栈解决方案，实现从硬件平台向"硬件+数据+AI"生态平台升级。该方案以G1-D为核心载体，为AI模型开发提供强力支撑，可应用于制造业等场景，提升生产精度和效率。在AI技术快速发展的背景下，掌握基于G1-D的AI开发技能将增强就业竞争力。这一创新方案为行业搭建AI训练基础设施，推动技术进步，展现未来发展潜力。
5G与人工智能：相辅相成推动未来智能化世界
2501_94108919的博客
11-21 932
近年来，5G和人工智能（AI）被视为数字时代的两大核心技术，它们不仅各自推动了技术进步，还在相互结合的过程中，带来了革命性的变革。例如，在智能制造中，AI可以基于5G传输的生产数据，实时调整生产线，优化生产效率，减少停机时间。比如，通过5G网络连接的智能穿戴设备可以实时监测患者的生命体征，并通过AI分析数据，为医生提供决策支持，甚至进行远程手术指导。5G网络的普及需要大量的基站和基础设施建设，而AI的应用则要求更高的计算能力和更低的延迟，这对硬件的要求非常高。
【科研绘图系列】R语言绘制PCA贡献图（scattter plot）
专注生信领域
11-21 537
本研究通过对 α-突触核蛋白的能量数据进行详细的分析，揭示了其在不同结构状态下的结构特征和变化规律。在研究过程中，采用了多种数据分析方法，包括数据预处理、结构质量评估、Ramachandran 图绘制、背骨氢键能量分布分析和 PCA 分析等。
Fine-tuning Language Models for Recipe Generation: A Comparative Analysis and Benchmark Study [PDF] [Copy] [Kimi] [REL] Authors: Anneketh Vij, Changhao Liu, Rahul Anil Nair, Theo Ho, Edward Shi, Ayan Bhowmick This research presents an exploration and study of the recipe generation task by fine-tuning various very small language models, with a focus on developing robust evaluation metrics and comparing across different language models the open-ended task of recipe generation. This study presents extensive experiments with multiple model architectures, ranging from T5-small (Raffel et al., 2023) and SmolLM-135M (Allal et al., 2024) to Phi-2 (Research, 2023),implementing both traditional NLP metrics and custom domain-specific evaluation metrics. Our novel evaluation framework incorporates recipe-specific metrics for assessing content quality and introduces an approach to allergen substitution. The results indicate that, while larger models generally perform better on standard metrics, the relationship between model size and recipe quality is more nuanced when considering domain-specific metrics. We find that SmolLM-360M and SmolLM-1.7B demonstrate comparable performance despite their size difference, while Phi-2 shows limitations in recipe generation despite its larger parameter count. Our comprehensive evaluation framework and allergen substitution system provide valuable insights for future work in recipe generation and broader NLG tasks that require domain expertise and safety considerations.
08-10
这篇论文《Fine-tuning Language Models for Recipe Generation: A Comparative Analysis and Benchmark Study》探讨了使用小型语言模型进行食谱生成任务的微调效果，并提出了新的评估框架和过敏原替代系统。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值