Digital Forgetting in Large Language Models: A Survey of Unlearning Methods

LLM中的数字遗忘
已于 2024-07-21 10:05:55 修改
阅读量463 收藏
点赞数 3
CC 4.0 BY-SA版权
分类专栏： Survey Paper LLM Daily Unlearning 文章标签： 语言模型 人工智能 自然语言处理
于 2024-07-20 23:50:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/140579871

本文是LLM系列文章，针对《Digital Forgetting in Large Language Models: A Survey of Unlearning Methods》的翻译。

大型语言模型中的数字遗忘：学习方法综述

1 引言

2 大型语言模型的背景

3 数字遗忘

4 LLM中的数字遗忘方法

5 LLM学习中的遗忘现象调查

6 LLMs中的遗忘评估

7

了解本专栏 订阅专栏 解锁全文 超级会员免费看
RETHINKING MACHINE UNLEARNING FOR LARGE LANGUAGE MODELS
c_cpp_csharp的专栏
05-16 326
我们在大型语言模型（LLM）领域中探索机器遗忘（MU），称为LLM遗忘。这一举措旨在消除不希望的数据影响（如敏感或非法信息）和相关的模型能力，同时保持基本知识生成的完整性，不影响因果无关的信息。我们设想LLM学习将成为LLM生命周期管理的一个关键要素，有可能成为开发生成性人工智能的重要基础，该人工智能不仅安全、可靠，而且资源高效，无需全面再训练。我们从概念表述、方法、指标和应用的角度来浏览LLM中的遗忘景观。
Erasing Without Remembering: Safeguarding Knowledge Forgetting in Large Language Models
c_cpp_csharp的专栏
03-14 92
在本文中，我们从一个全新的维度探索机器遗忘（machine unlearning），研究如何在大语言模型（LLMs）中保障模型的遗忘能力。我们的目标是防止已遗忘特定知识的模型回忆起任何与目标知识相关的记忆。我们首先揭示了一个看似简单却被忽视的事实：现有方法通常仅删除目标知识的精确表述，而保留了其释义或相关信息。为了严格衡量这些疏忽，我们引入了UGBENCH，这是首个专为评估13种最先进方法的泛化性能而设计的基准测试。UGBENCH表明，已遗忘特定知识的模型仍能回忆起释义后的答案，并在中间层保留目标事实。
AR as a civil right
weixin_42786150的博客
02-16 5835
增强现实的民事权利与刑法程序
插件8：拼写检查
热门推荐
dearbaba_1666的博客
06-27 16万+
<?php // Plug-in 8: Spell Check // This is an executable example with additional code supplie
《高效的项目和团队》
海阔天空 邵加超的BLOG
01-04 1万+
Productive Projects and Teams是一本好书。 许多其中许多关于管理和沟通的精辟言论让我大有相见很晚之感。其实不仅是软件的开发项目，任何项目，甚至任何行业的管理，都首先是对人的管理，然后才是对事物的管理，所以设身处地的为别人着想，用鼓励来代替批评，用相互学习来取消互相排挤，在失败中学习，在前进中自醒，则无往而不胜。鉴于原书是英文的，我打算利用业余时间把它翻译成中文，一来方便
Eraser: Jailbreaking Defense in Large Language Models via Unlearning Harmful Knowledge
c_cpp_csharp的专栏
09-05 194
越狱攻击可以使大型语言模型 （LLM） 绕过保护措施并生成有害内容。现有的越狱防御方法未能解决模型中存在有害知识的基本问题，从而导致 LLM 面临潜在的越狱风险。在本文中，我们提出了一种名为 Eraser 的新型防御方法，主要包括三个目标：忘掉有害知识、保留常识和保持安全对齐。直觉是，如果 LLM 忘记了回答有害问题所需的特定知识，它将不再有能力回答有害问题。Erase 的训练实际上并不需要模型自身的有害知识，它可以从忘记与有害查询相关的一般答案中受益，这意味着它不需要红队的帮助。
Towards Efficient and Effective Unlearning of Large Language Models for Recommendation
c_cpp_csharp的专栏
07-02 200
大型语言模型（LLM）的显著进步带来了一个很有前途的研究方向，即利用LLM作为推荐器（LLMRec）。LLMRec的功效源于LLM固有的开放世界知识和推理能力。LLMRec通过基于用户交互数据的指令调优来获得推荐能力。然而，为了保护用户隐私和优化效用，LLMRec故意忘记特定的用户数据也是至关重要的，这通常被称为建议遗忘。在LLM时代，建议遗忘给LLMRec带来了低效率和无效性方面的新挑战。现有的遗忘方法需要更新LLMRec中的数十亿个参数，这既昂贵又耗时。此外，在遗忘过程中，它们总是影响模型的实用性。
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8
12-11 885
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
深度学习下载包时可能会遇到的问题及解决方案
m0_50481455的博客
12-09 490
若确实下载安装了CUDA ，但是此时输出的CUDA是否可用为否，应该是torch的版本为cpu版本导致，刚刚的下载包的语句如果总是下载的是cpu版本，我们考虑直接去网站下指定包，再进行安装。CUDA Version表示的是驱动支持的最高 CUDA 版本，去官网下载 CUDA ，我这里是12.2，表示下载的版本最大只能是12.2。然后下载包时，比如本地环境是Python3.9，找包下载时候，3.9要下对应cp39的包。下载好后，执行语句安装。
精品数据分享 | 锂电池数据集（七）同济大学电池数据集
12-11 679
本期继续分享一篇Nature communicationTop论文公开锂离子电池数据，划重点-数据集开源，代码开源！！！
vLLM推理引擎教程4-离线推理功能
benben044的专栏
12-12 353
本文介绍了使用vLLM框架优化推理性能的多种方法。主要内容包括：1）基础文本生成、对话式推理、文本分类和嵌入提取四种任务的基本实现；2）自动前缀缓存功能，通过共享KV缓存加速长上下文处理；3）使用YARN方法扩展模型上下文长度；4）多模态任务处理示例（Whisper语音识别）；5）底层LLMEngine API的使用。文章通过具体代码示例展示了如何设置参数实现各类推理优化，包括温度调节、top-p采样、缓存复用等技巧，适用于文本生成、分类、嵌入等多种NLP任务场景。
观成科技:Zloader木马家族加密流量分析
GCKJ_0824的博客
12-12 422
摘要：Zloader木马最初作为银行木马Zeus的下载器，现被广泛用于勒索软件投递。其采用多种加密通信技术规避检测：1）DGA技术生成随机域名；2）DNS隧道隐藏数据；3）HTTPS加密通信；4）Websocket掩码加密。最新版本通过会话密钥强化DNS隧道加密。观成科技利用AI模型结合TLS指纹检测HTTPS加密流量，持续通过行为分析和机器学习应对加密威胁。研究表明，恶意软件正不断升级流量对抗技术，凸显加密流量检测的重要性。（149字）
“人工智能 +” 创新大会签约落定，云工场科技与沐曦、中国移动等企业携算力服务助力潍坊转型发展
Cloudcsp的博客
12-12 284
大会紧密围绕贯彻落实党的二十届四中全会精神，旨在纵深推进“人工智能+”行动，促进人工智能与实体经济深度融合，为培育和发展新质生产力注入强大 AI 动能。，共同推进智能算力供给与行业应用落地。聚焦于行业大模型落地应用、高效智能算力供给、以及“人工智能+”模式创新等多个关键方向，携手构建开放、协同、共赢的 AI 产业生态。在大会签约环节，昌邑市、安丘市、寒亭区、潍城区等政府单位围绕人工智能+治理分别推进相关合作布局；等核心能力，协同产业伙伴共同服务潍坊“人工智能+”行动，助力区域新质生产力加速培育。
宝马，如何建设一座AI汽车工厂？｜产业AI案例
chanyejiawang的博客
12-08 1463
AI汽车时代来袭
Syslog / Flow / Telemetry 的 AI 聚合与异常检测实战（可观测性）
oQianYuan的博客
12-12 897
网络设备每天在后台发出巨量的可观测性数据，它们大多数被丢弃、被忽略、被埋没在日志平台里。Syslog、Flow、Telemetry 是三类最常用的基础信号，但它们一直没有在企业里发挥出该有的价值——所谓“看起来都有，出了问题却找不到原因”。过去几年里，我几乎把所有大型网络的事故复盘都做过一遍，最后得出的共同结论是：事故不是因为没有可观测性，而是因为信号太分散、太原始，而人类根本处理不过来。这篇文章的目标很直接：把 Syslog、Flow、Telemetry 三种信号，做成可输入 AI 的高质量特征，进而构建
大模型的监督微调基础详解
AggressiveYu的博客
12-10 1030
在预训练完毕之后，我们的模型已经成为了一个学习完所有知识的学生，但是他缺乏用适当的方式表达知识的能力，还是停留在续写文本的阶段，无法直接回答我们的问题，所以监督微调这个时候就出来了，这个指令微调的作用，就是让模型在预训练的基础上，通过特定的数据和训练，让模型能够更好的回答用户的问题。 预训练一般包括三大要素，网络结构，损失函数，训练数据。指令微调和预训练的方式几乎没有区别，只是训练数据的不同。
创始人IP与AI融合：重构信任与引领变革
ckjrxdn的博客
12-08 300
通过个人品牌的塑造，企业能够增强与用户之间的情感连接，提升认同感。举办此次峰会，是希望帮助更多中小企业家认识到技术趋势与品牌建设的重要性，从而更好地把握未来发展机遇。另一方面，人工智能能够全面提升企业在内容创作、客户转化等环节的效率，助力构建可持续的商业系统。活动汇聚了来自全球的创始人、行业专家及媒体代表，共同探讨在人工智能与个人品牌价值并重的时代背景下，企业如何应对挑战、实现持续发展。本次峰会还设置了多场主题分享与圆桌对话，聚焦人工智能的应用前景与未来商业趋势，为参会者提供了交流与合作的平台。
役物不役于物，焕业不替其业
weixin_66243333的博客
12-11 913
AI机器人时代：AI与机器人技术的融合正在重塑各行业生态。从餐饮到农业，从康养到环卫，AI机器人通过精准操作和智能决策显著提升了工作效率。然而，这种变革并非简单的岗位替代，而是职业价值的重构。传统从业者正转型为AI训练师、创意研发官、设备管理师等新角色，将重复性工作交给机器人，转而专注于更具创造性和人文价值的工作领域。这一转变表明，AI机器人并非职业终结者，而是推动人类向更高价值领域发展的协作者。人机协同将成为未来职场的主流模式，人类独特的创造力、应变力和共情力仍是不可替代的核心竞争力
深入解析JAX函数变换：超越自动微分的现代科学计算范式
最新发布
不懂先生的博客
12-13 222
JAX允许开发者定义自己的函数变换，这是其扩展性的关键。通过和，我们可以为任意函数定义自定义的前向模式和反向模式微分规则。# 自定义VJP（向量-雅可比乘积）示例"""自定义激活函数及其梯度"""# 前向计算# 复杂的非线性变换# 定义自定义VJP# 前向函数# 反向函数x, = res# 手动计算梯度# 添加梯度裁剪# 关联前向和反向函数# 使用自定义函数# 测试函数print(f"输入: {x}")print(f"函数值: {value}")
ALU: Agentic LLM Unlearning
06-24
for _ in range(unlearning_steps): optimizer.zero_grad() loss = -model.calculate_loss(target_data) # Reverse the gradient signal loss.backward() optimizer.step() # Step 3: Validate performance ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值