CAN KNOWLEDGE EDITING REALLY CORRECT HALLUCINATIONS?

最新推荐文章于 2025-06-13 16:16:16 发布
最新推荐文章于 2025-06-13 16:16:16 发布
阅读量488 收藏
点赞数 23
分类专栏： LLM Daily LLM Evaluation LLM hallucination 文章标签： 人工智能 语言模型 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/143564922
版权

本文是LLM系列文章，针对《CAN KNOWLEDGE EDITING REALLY CORRECT HALLUCINATIONS?》的翻译。

知识编辑真的能纠正幻觉吗？

摘要

大型语言模型（LLM）会出现幻觉，指代生成内容中的非真实信息，尽管它们在任务中具有优越的能力。与此同时，知识编辑已经发展成为一种新的流行范式，可以纠正LLM中编码的错误事实知识，从而避免从头开始重新训练。然而，用于知识编辑的现有评估数据集的一个常见问题是，它们不能确保LLM在编辑之前确实生成了对评估问题的幻觉答案。当LLM在经过不同技术编辑后在这些数据集上进行评估时，很难直接采用性能来评估不同知识编辑方法在纠正幻觉方面的有效性。因此，根本问题仍然没有得到充分验证：知识编辑真的能纠正LLM中的幻觉吗？我们提出了HalluEditBench来全面评估知识编辑方法在纠正现实世界幻觉方面的作用。首先，我们严格构建了一个包含9个领域、26个主题和6000多个幻觉的庞大幻觉数据集。然后，我们从效能、泛化、可移植性、局部性和稳健性五个维度全面评估了知识编辑方法的性能。通过HalluEditBench，我们对不同知识编辑方法在纠正幻觉方面的潜力和局限性提供了新的见解，这可以激发未来的改进，促进知识编辑领域的进步。

1 引言

2 HalluEdi

了解本专栏 订阅专栏 解锁全文 超级会员免费看
知识编辑：大模型幻觉终结者？
步子哥的博客
10-22 709
它是一种在不重新训练模型的情况下，直接对模型内的知识进行“微调”的方法，类似于给AI做“局部脑手术”。局部性衡量的是知识编辑对无关知识的影响，理想的编辑应该只修改与目标知识相关的部分，不影响其他已知事实。然而，LoRA和MEMIT在局部性上的表现较差，说明这些方法在修改某些知识时，可能会引发“蝴蝶效应”，导致其他领域的知识出现偏差。例如，LoRA虽然在有效性上达到了100%，但局部性仅为40.9%，这意味着它在纠正错误时，可能会对无关知识产生较大影响。指的是，编辑后的知识能否适应不同形式的问题。
大模型“说谎“，真的能被纠正吗？ | 让LLM变聪明的新方法：如何教会“小模型“像“大模型“一样解数学题
python1234_的博客
10-28 996
大模型领域的发展日新月异，每天都有许多有趣的论文值得深入品读。下面是本期觉得比较有意思的论文：1、大模型"说谎"，真的能被纠正吗？2、让LLM变聪明的新方法：如何教会"小模型"像"大模型"一样解数学题​LLM就像一个博学多才的"超级大脑"，但它也会"说谎"（专业术语叫"幻觉"）。为了解决这个问题，研究人员开发出了一种叫"知识编辑"的技术，声称可以纠正LLM的错误认知。但问题是：这种方法真的有效吗？最新研究给出了一个令人意外的答案。
InstructGPT：基于人类反馈训练语言模型遵从指令的能力
hao_wujing的专栏
12-30 2112
增大模型尺寸未必就能提高它对用户意图的理解能力。例如，一些大模型可能会生成不真实、有毒或对用户并无帮助（untruthful, toxic, or simply not helpful）的输出。换句话说，这些模型与它们的用户没有对齐本文展示了一种基于人类反馈进行微调（fine-tuning with human feedback）， 从而在各种任务上将语言模型与用户意图对齐的方法。简单来说，先收集一组“预期的模型行为应该是什么样”的数据集， 然后使用监督学习来微调 GPT-3（SFT），
插件8：拼写检查
热门推荐
dearbaba_1666的博客
06-27 15万+
<?php // Plug-in 8: Spell Check // This is an executable example with additional code supplie
强化学习 A2C算法
tony365的博客
06-13 479
更准确地说，Reinforce 是 基于策略的方法 的一个子类，称为 策略梯度方法。在基于策略的方法中，我们的目标是直接优化策略，而无需使用价值函数。更准确地说，Reinforce 是 基于策略的方法 的一个子类，称为 策略梯度方法。然而，因为我们使用蒙特卡洛采样来估计回报（我们使用整个 episode 来计算回报），所以我们在策略梯度估计中存在显着的方差。然而，因为我们使用蒙特卡洛采样来估计回报（我们使用整个 episode 来计算回报），所以我们在策略梯度估计中存在显着的方差。
大模型工作流Dify面试题及参考答案
大模型大数据攻城狮的专栏
06-12 508
设计一个基于 Dify 的智能摘要与重点提取 Agent，需结合Prompt 工程、模型能力配置和工作流优化，确保对长文本的高效解析和关键信息提炼。1. 明确任务需求与输入输出输入：长文本内容（如文章、报告、会议记录）或文本 URL输出摘要：简洁概括原文核心内容，控制在原文长度的 10%-20%重点列表：分点列出关键数据、结论、行动项等可选：关键词提取、情感倾向分析示例场景输入：一篇 5000 字的行业报告。
yolo模型精度提升策略
qq_47798402的博客
06-09 1004
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
Models-＞Chat Models-＞OpenAI Chat
xiatiaohcx的专栏
06-10 676
Spring AI支持来自OpenAI的各种AI语言模型，OpenAI是ChatGPT背后的公司，由于其创建了行业领先的文本生成模型和嵌入，它在激发人们对AI驱动的文本生成的兴趣方面发挥了重要作用。
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 1273
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 838
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
简繁体智能翻译软件
weixin_62784879的博客
06-09 708
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 1434
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
【向量库】Weaviate 搜索与索引技术：从基础概念到性能优化
hiliang521的博客
06-09 1188
【向量库】Weaviate 搜索与索引技术：从基础概念到性能优化
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
打造全国最全的AI Agent开发知识领域的博客
06-11 2248
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
基于边缘计算的丝杆状态实时监测系统设计？
demaichuandong的博客
06-13 356
摘要：基于边缘计算的丝杆状态监测系统采用三层架构设计，包含感知层（传感器采集振动、温度等数据）、边缘层（实时数据处理和异常检测）和云端（数据存储与深度分析）。关键技术包括数据滤波压缩算法、机器学习故障预测模型（如LSTM）、低功耗通信协议（MQTT）及安全冗余设计。该系统可实现毫秒级响应，降低75%带宽需求，通过边缘-云协同计算提高设备预测性维护效率，典型应用于工业领域丝杆运行状态监测与故障预警。
破局零售挑战！华为云AI+零售峰会聚焦数智转型实践
weixin_43735236的博客
06-12 223
该方案面向零售伙伴客户物流、运营、门店、客服和办公等场景，依托华为云最新发布的CloudDevice关键产品和自有AI大模型，在云上服务方面具备一跳入云、一云多端、极低时延、普惠AI等方面的优势，可为零售伙伴客户筑牢算力底座，满足零售伙伴客户“产-供-营-销-服”全链路智能化核心需求。该计划面向全国数智化企业，汇聚华为云及合作伙伴在政策、产品、技术、品牌等方面的资源与能力，向伙伴开放能力共生、商业共赢和数字化服务三大平台，为零售企业的品牌营销与业务运营提供强大技术支撑，加速企业成长。6月13日，鹭岛厦门！
深度解析一下 llama.cpp 的源代码
最新发布
u011091936的博客
06-13 334
当 llama.cpp 准备执行推理时，它会调用 ggml_ 系列函数（如 ggml_mul_mat, ggml_add）来定义需要执行的操作。这些函数并。
CppCon 2015 学习:Algorithmic Differentiation C++ & Extremum Estimation
虾球
06-10 967
浮点数表示法的灵感：科学记数法浮点数的表示方法受到科学记数法的启发。x×baseexponentx×baseexponent6.022×10236.022×1023这种表示法使得我们能够处理非常大的数（如102310^{23}1023）以及非常小的数（如10−2310^{-23}10−23），并且有效地表示各种数值。
钉钉C10圆桌派在北京召开 AI一体机首次签约
weixin_43735236的博客
06-09 139
一体机也提供多种AI助理，覆盖审批、工单、行政、法务等多个高频场景，可广泛应用于零售、连锁、生产制造、教育、法律服务等众多行业，帮助企业进一步提质降本增效，数智化升级。通过部署钉钉AI一体机，杰锐思打造了装配助手、代码助手等AI应用，实现了从知识检索到业务协同的全链路升级，在数据安全的基础上，进一步实现了增效降本和效率提升。6月6日，钉钉在北京举办C10圆桌派-AI专场思享会，会上，钉钉和苏州杰锐思智能科技股份有限公司（以下简称：杰锐思）就AI一体机应用签署合作协议，这是钉钉首次在客户落地AI一体机实践。
o3d.visualization.draw_geometries_with_editing 库怎么编辑？
06-08
`draw_geometries_with_editing`是Open3D中用于可视化和编辑几何图形的函数。它允许您通过鼠标和键盘控制图形的旋转、平移、缩放等操作，以及添加、删除、修改点云和三维模型中的点、线、面等元素。 在使用`draw_geometries_with_editing`函数时，您需要按照以下步骤进行编辑： 1. 创建一个要编辑的几何图形对象，例如点云或三维模型。 2. 将该对象添加到一个列表中，并调用`draw_geometries_with_editing`函数进行可视化和编辑。 3. 在可视化窗口中，您可以使用鼠标和键盘控制图形的旋转、平移、缩放等操作。 4. 您可以使用鼠标右键添加、删除、选择等操作。例如，按住鼠标右键并拖动可以选择多个点，按下删除键可以删除所选点。 5. 在编辑完成后，您可以按下键盘上的“Q”键退出编辑模式，并获取编辑后的几何图形对象。 以下是一个简单的示例代码，演示如何使用`draw_geometries_with_editing`函数对点云进行编辑： ```python import open3d as o3d # 创建点云 pcd = o3d.geometry.PointCloud() pcd.points = o3d.utility.Vector3dVector([ [0, 0, 0], [1, 0, 0], [0, 1, 0], [0, 0, 1] ]) # 添加到列表并进行可视化和编辑 o3d.visualization.draw_geometries_with_editing([pcd]) # 获取编辑后的点云对象 edited_pcd = o3d.geometry.PointCloud() edited_pcd.points = pcd.points ``` 在这个示例中，我们创建了一个简单的点云，并将其添加到一个列表中进行可视化和编辑。在可视化窗口中，您可以使用鼠标和键盘进行编辑操作。编辑完成后，您可以按下键盘上的“Q”键退出编辑模式，并获取编辑后的点云对象。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值