Zero-shot知识测试LLM的推理幻觉

本文介绍了一种新的方法用于检测大型语言模型（LLM）生成的幻觉文本，特别是通过区分三种类型的幻觉：对齐（aligned）、错位（misaligned）和捏造（fabricated）。现有的检测方法未能有效区分不同类型的幻觉，导致检测性能不足。为此，作者提出了一种“幻觉推理”（hallucination reasoning）任务，并设计了一种零样本方法，能够在没有外部知识、数据集标签或模型微调的情况下，评估LLM是否具备足够的知识来生成文本。通过模型知识测试（MKT）和对齐测试（Alignment Test），该方法能够准确分类LLM生成的文本，提高现有检测方法的表现。实验结果表明，该方法在多项数据集上的表现显著优于传统方法，特别是在识别捏造文本方面。

1 二阶段工作流程

模型知识测试（Model Knowledge Test, MKT）：

• ·该测试的目的是检查智能体是否具备足够的知识来生成特定的文本。通过扰动文本中的关键信息（例如名词短语），来检测智能体对该信息的理解程度。

• ·如果扰动后的文本导致生成结果的显著变化，表明智能体具备相应的知识。如果扰动后生成文本几乎没有变化，则说明该文本是“捏造的”，即智能体缺乏相关知识。

· 对齐测试（Alignment Test）：

• ·在MKT测试通过的情况下，进行对齐测试，目的是验证生成的文本是否与智能体的现有知识一致。

• ·通过对比生成文本与智能体的知识库，判断文本内容是否与智能体已有的信息对齐。如果不对齐，则可能是“错位的幻觉”。

2 零样本知识测试-Zero-shot Knowledge Test

· 主体识别：

• 从给定的提示和生成的文本中识别出“主体”，即文本中的关键名词短语。该主体通常是句子中的核心对象（如人名、地点名、物体等）。

· 主体扰动：

• ·对识别出的主体进行扰动处理，通常通过对主体的嵌入向量添加噪声（如高斯噪声），从而改变该主体的表达。

• ·这样做的目的是检验智能体是否依赖于主体的信息来生成相关内容。如果主体的扰动显著影响生成文本，说明智能体已经掌握了相关知识。

· 知识评估：

• ·通过评估扰动前后生成文本的差异，判断智能体是否拥有足够的知识来正确生成文本。如果扰动后生成的文本几乎没有变化，则认为智能体缺乏相关知识，这样的文本可以被归类为“捏造”的幻觉。

3 结语

本文提出了一种新的“幻觉推理”方法，通过区分对齐、错位和捏造三种类型的幻觉，利用零样本技术提高智能体生成文本幻觉检测的准确性。

论文题目： LLM Hallucination Reasoning with Zero-shot Knowledge Test

论文链接： https://arxiv.org/abs/2411.09689

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

优快云粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉优快云大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

优快云粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉优快云大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）