Stable Knowledge Editing in Large Language Models

最新推荐文章于 2025-06-11 12:06:04 发布
最新推荐文章于 2025-06-11 12:06:04 发布
阅读量214 收藏
点赞数 3
分类专栏： LLM Editing 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138176865
版权
LLM 日更 同时被 2 个专栏收录
828 篇文章

已下架不支持订阅

LLM Editing
15 篇文章
订阅专栏
StableKE是一种新颖的大型语言模型知识编辑方法，避免了传统方法中知识本地化和孤立的假设，通过语义短语和上下文描述增强策略实现知识的稳定编辑，同时保持模型的无关知识和一般能力的稳定性。KEBench基准用于评估其性能，结果显示StableKE在知识编辑稳定性方面表现出色。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《Stable Knowledge Editing in Large Language Models》的翻译。

大型语言模型中的稳定知识编辑

摘要

大型语言模型的有效知识编辑对于大规模替换过时信息或整合专业知识至关重要。然而，以前的方法隐含地假设知识在模型中是本地化和孤立的，这一假设过于简化了模型知识的相互关联性。本地化的前提导致知识编辑不完整，而孤立的假设可能会损害其他知识和一般能力。它给知识编辑方法的性能带来了不稳定性。为了超越这些假设，我们引入了StableKE，这是一种基于知识扩充而非知识本地化的新颖方法。为了克服人为标注的成本，StableKE集成了两种自动知识增强策略：语义短语增强策略，它使知识描述多样化，以便于向模型教授新信息；上下文描述增强策略，扩展周围的知识，以防止相关信息的遗忘。StableKE超越了其他知识编辑方法，展示了编辑知识和多跳知识的稳定性，同时也保留了无关知识和一般能力。此外，StableKE可以在ChatGPT上编辑知识。

1 引言

2 相关工作

3 KEBench基准

4 StableKE方法

5 实验

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

[晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉导航
勿忘初心,方得始终
01-19 1114
执行因果推理的能力被广泛认为是智力的核心特征。在这项工作中，我们研究了大型语言模型（LLM）是否能够连贯地推理因果关系。自然语言处理（NLP）中的许多现有工作都集中在评估LLM中的常识性因果推理，从而未能评估模型是否能够根据一组定义明确的形式规则进行因果推理。为了解决这一问题，我们提出了一个新的NLP任务，即自然语言中的因果推理，其灵感来自Judea Pearl等人假设的“因果推理引擎”。
[晓理紫]每日论文推送(有中文摘要或代码或者项目地址)
勿忘初心,方得始终
01-10 2162
[晓理紫]每日论文推送(有中文摘要或代码或者项目地址)
LLMs：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-31 4995
​ Paper：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读 目录 《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读 Abstract摘要 1 Introduction引言 2、Methodology方法 3、Datasets数据集：大多都是英文指令
Can We Edit Multimodal Large Language Models?阅读笔记
sev7777777的博客
02-14 819
Can We Edit Multimodal Large Language Models?阅读笔记
LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
02-16 1837
​ LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和技术→数据集和基准→未来方向和挑战 目录 《Large Language Models A Survey大型语言模型的综述调查》翻译与解读 Abstract摘要 I. INTRODUCTION引言 II. LARGE LANGUAGE MODE
ACL 2022 主会长文论文分类整理
Kaiyuan_sjtu的博客
05-13 6434
© 作者｜蒋锦昊 机构｜中国人民大学高瓴人工智能学院研究方向 | 自然语言处理导读ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。官方发布的接收论文列表：Accepted Papers...
CVPR2024部分研究方向文章梳理（持续更新中）
llptyy的博客
04-09 1218
CVPR2024部分研究方向文章梳理（持续更新中）
C++知识汇总|C++ knowledge summary
𝓓𝓸𝓶𝓲𝓷𝓪𝓽𝓲𝓷𝓰 𝓐𝓵𝓵 𝓣𝓱𝓲𝓷𝓰𝓼
01-17 1014
函数定义：由函数头和函数体组成。例如：函数头包括返回类型（int）、函数名（add）和参数列表（），函数体是实现具体功能的代码块。2.函数声明：告诉编译器函数的名称、返回类型和参数列表，以便在使用函数之前进行检查。函数声明通常放在头文件中，函数定义放在源文件中。类是一种用户自定义的数据类型，它封装了数据成员和成员函数。intheight;public:private关键字修饰的数据成员和成员函数只能在类内部访问，public。
InstructPix2Pix: Learning to Follow Image Editing Instructions
初见月
10-20 1078
InstructPix2Pix结合了两个大型预训练模型，一个大型语言模型（GPT-3）和一个文本到图像模型（Stable Diffusion），以生成一个数据集，用于训练一个扩散模型，以遵循书面的图像编辑指令
人体三维重建【文章汇总】Humans
zik的博客
07-03 2249
PA-MPJPE则是在计算误差之前，首先对预测的姿态进行了最佳比例的刚体变换（包括旋转、平移和缩放），这一过程通常通过Procrustes分析实现，目的是为了消除全局旋转和平移的影响，以及可能的比例差异，从而更加专注于评估姿态结构本身的准确性。PCK指标计算的是被正确检测出的关键点数量占总关键点数量的百分比，这里的“正确检测”指的是预测的关键点位置与真实位置之间的距离小于或等于一个给定的误差阈值（通常以关节或者像素为单位）。：对每个关节的位置序列进行一阶微分，得到各个关节的速度随时间的变化情况。
深度学习系列资料总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
yolo模型精度提升策略
qq_47798402的博客
06-09 800
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 729
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 428
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 1004
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
简繁体智能翻译软件
weixin_62784879的博客
06-09 493
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
最新发布
打造全国最全的AI Agent开发知识领域的博客
06-11 1465
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
Sklearn 机器学习 缺失值处理 填充数据列的缺失值
Kant2048的博客
06-07 769
使用Scikit-learn处理数据缺失值的完整指南，多种有效的缺失值处理方法。
（五）动手学深度学习计算：从数学原理到高效实现的全流程指南
hanyuge的专栏
06-08 755
在实际应用中，我们常常需要自定义层和块来实现特定的功能。PyTorch提供了灵活的API来创建自定义层和块。无参数层：实现不包含可学习参数的层，如激活函数层。return torch.sigmoid(x) # 示例：Sigmoid激活函数含参数层：实现包含可学习参数的层，如自定义的全连接层。组合层：将多个层组合成一个块，实现复杂的功能。return x层是深度学习模型的基本构建块，执行特定的计算任务。块是由多个层组成的模块，提高代码的可读性和可维护性。
28 Time-Series Forecasting with Pre-Trained LLMs 29 Machine Learning to learn to read analog gauges 30 Acute Lymphoblastic Leukemia Detection Based on Deep Learning31 Interactive Multimodal Perception using Large Language Models32 Continual Open Set Obiect Recognition 33 Lifelong Model Editing for Large Language Model34 Quantum Embedding for Machine Learning以上的论文题目哪个相对简单容易完成
03-21
<think>好的，我现在需要帮助用户评估他们提供的几个论文题目中哪些相对简单容易完成。首先，我需要回顾用户之前的问题和回复历史。用户之前询问过人工智能专业研究生论文的简单方向，我给出了10个建议，比如预训练模型微调、传统算法优化等，并附带了具体思路和工具。现在用户列出了7个新题目，希望我分析哪些相对容易完成。 首先，我需要逐个分析每个题目的复杂程度。考虑因素包括数据获取难度、技术成熟度、所需资源（如计算资源）、创新点的实现难度以及现有工具和框架的支持情况。 28. 使用预训练LLM进行时间序列预测：时间序列分析通常需要处理结构化数据，而LLM主要擅长文本。可能需要将时间序列数据转换为适合LLM的格式，比如文本描述或特定编码。这方面可能有一些研究，但需要调整模型结构，数据预处理可能复杂，而且LLM的训练成本高，如果没有足够的资源可能困难。 29. 机器学习读取模拟仪表：这涉及到计算机视觉，可能需要收集大量仪表图像，标注数据。传统CV方法或微调现有模型如YOLO、ResNet可能可行。如果仪表类型单一，环境可控，数据获取和标注相对容易，但实际应用中可能有光照、角度等问题需要处理，可能需要较多工程调试。 30. 基于深度学习的急性淋巴细胞白血病检测：医学影像分析通常需要专业的数据集，获取可能困难，涉及隐私问题。需要与医疗机构合作，或者使用公开数据集。模型可能需要较高的准确率，医学领域的模型验证和解释性要求高，可能需要较多领域知识，伦理审查也可能增加复杂性。 31. 使用LLM的交互式多模态感知：多模态融合本身复杂，加上交互性可能需要设计用户交互实验，整合文本、图像、语音等多种输入，实时处理。需要处理多模态对齐问题，技术栈较广，实现和评估难度大，创新点要求高，可能需要较多资源。 32. 持续开放集物体识别：开放集识别要求模型识别未知类别，同时持续学习新类别。这涉及到增量学习和开放集检测的结合，技术上有挑战，需要处理灾难性遗忘问题，设计有效的更新策略，实验设计复杂，需要大量不同阶段的数据集，实现难度较高。 33. 大型语言模型的持续模型编辑：持续编辑需要在不重新训练的情况下更新模型知识，可能涉及参数调整或外部记忆模块。需要深入理解LLM架构，实验可能需要大量计算资源，评估编辑后的模型效果和稳定性，技术较新，研究资料可能较少，实现难度大。 34. 机器学习的量子嵌入：量子机器学习结合了量子计算和传统ML，需要量子计算的基础知识，可能涉及量子算法的模拟或实际量子硬件。目前量子计算资源有限，多数研究停留在理论或小规模实验，实际应用难度大，对数学和物理要求高，适合有相关背景的学生，否则入门困难。 接下来，我需要对比这些分析，找出哪些题目在数据、技术、资源方面门槛较低。例如，题目29如果使用公开的仪表数据集，或者自行收集少量数据，结合已有CV模型微调，可能相对可行。题目28如果有现成的时间序列转换方法和预训练LLM可用，可能可以快速实验，但需注意数据适配。题目30如果公开数据集可用，并且有医学合作方，可能可行，否则数据获取困难。题目34需要量子计算资源，可能最难。 然后，我需要参考之前给用户的建议，比如推荐预训练模型微调、传统算法优化、数据增强等方向。题目28属于预训练模型的应用，但时间序列可能较复杂；题目29属于CV应用，可能属于轻量化部署或传统模型改进；题目30属于医学图像检测，可能数据难但可用公开数据集；而其他题目如31、32、33、34复杂度较高。 最后，需要综合判断，将题目按难度排序，指出哪些相对简单，并给出理由，比如数据易获取、技术成熟、工具支持好等。同时提醒用户注意潜在挑战，比如数据标注、计算资源等。</think>根据技术复杂度、数据获取难度和实现可行性，对您提供的题目进行排序分析如下（从易到难）： --- ### **相对容易完成的题目** #### 1. **29. Machine Learning to learn to read analog gauges（机器学习读取模拟仪表）** - **优势**： - **数据可控**：可自行拍摄仪表图像构建小规模数据集（需标注刻度值），或使用公开工业检测数据集（如[Roboflow Universe](https://universe.roboflow.com/)中的仪表检测数据） - **技术成熟**：基于YOLOv5/PP-YOLO实现目标检测定位，配合OpenCV进行透视校正和读数解析 - **创新点设计**： - 改进刻度识别：融合霍夫圆检测与传统图像处理算法 - 光照鲁棒性增强：通过随机亮度调整进行数据增强 - **工具推荐**：LabelImg标注工具，PyTorch Lightning框架 #### 2. **30. Acute Lymphoblastic Leukemia Detection Based on Deep Learning（基于深度学习的急性淋巴细胞白血病检测）** - **优势**： - **公开数据集可用**：如[C-NMC 2019](https://competitions.codalab.org/competitions/20395)提供白血病细胞显微图像 - **模型复用性强**：在EfficientNet或ViT上微调分类模型，可快速实现基线性能 - **创新方向**： - 改进困难样本学习：针对细胞形态相似性设计对比损失函数 - 轻量化部署：通过知识蒸馏压缩模型便于临床部署 - **注意点**：需严格验证模型可解释性（如Grad-CAM热力图分析） #### 3. **28. Time-Series Forecasting with Pre-Trained LLMs（使用预训练LLM的时间序列预测）** - **优势**： - **免于模型训练**：直接利用LLM（如GPT-3或LLaMA）的序列建模能力 - **数据格式转换成熟**：将时间序列转化为文本描述（例如："2023年1月: 销量=1200; 2月: 销量=1350..."） - **创新空间**： - 设计时序到文本的编码模板（如引入周期性标记） - 对比传统方法（ARIMA/LSTM）与LLM预测效果 - **工具推荐**：Hugging Face Transformers库 + Darts时间序列工具包 --- ### **中等难度的题目** #### 4. **34. Quantum Embedding for Machine Learning（机器学习的量子嵌入）** - **可行性条件**： - **模拟优先**：使用PennyLane或Qiskit在经典计算机模拟量子嵌入 - **简化任务**：在MNIST/CIFAR-10上验证量子神经网络（QNN）的嵌入效果 - **挑战**：需要量子计算基础理论，实际量子硬件访问困难 #### 5. **32. Continual Open Set Object Recognition（持续开放集物体识别）** - **可实现路径**： - 在CIFAR-100/ImageNet-1K子集上构建增量学习实验环境 - 结合[OWML](https://github.com/sgvaze/osr_closed_set_all_you_need)框架实现开放集检测 - **难点**：需平衡新旧类别知识保留与未知类别拒识 --- ### **高难度题目（慎选）** #### 6. **33. Lifelong Model Editing for Large Language Models（大语言模型的持续编辑）** - **瓶颈**： - 需深入理解LLM权重更新机制（如[MEMIT](https://arxiv.org/abs/2206.06520)方法） - 需构建复杂评估体系（事实一致性、副作用检测） #### 7. **31. Interactive Multimodal Perception using Large Language Models（基于LLM的交互式多模态感知）** - **复杂度来源**： - 需同时处理视觉-语言-动作的实时交互（如机器人场景） - 依赖多模态对齐数据集（如[ALFRED](https://askforalfred.com/)） --- ### **推荐选择策略** 1. **优先选择29/30/28**： - 以**29号题目**为例，完整研究流程： ```mermaid graph TD A[拍摄100张仪表图像] --> B[LabelImg标注指针位置] B --> C[训练YOLOv5检测模型] C --> D[OpenCV透视变换校正] D --> E[HSV颜色空间分割指针] E --> F[角度-数值映射输出] ``` - 创新点可设计为：**"融合语义分割的精细化读数校正"** 2. **避坑建议**： - 避免需要特殊硬件支持的题目（如量子嵌入需真实量子计算机） - 谨慎选择涉及持续学习/多模态交互的方向（实验周期易失控） 3. **工具链参考**： - 29号题目：Ultralytics YOLOv5 + OpenCV + Flask部署 - 30号题目：EfficientNet-B3 + Grad-CAM可视化 + Streamlit交互界面
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值