论文阅读：2024 ACL Finding Unsupervised Real-Time Hallucination Detection based on the Internal States of

已于 2025-04-16 14:45:44 修改
阅读量669 收藏 20
点赞数 25
分类专栏： 论文阅读 LLMs-安全 文章标签： 论文阅读
于 2025-04-12 16:39:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/WhiffeYF/article/details/147166692
版权

总目录 大模型安全相关研究：https://blog.youkuaiyun.com/WhiffeYF/article/details/142132328

Unsupervised Real-Time Hallucination Detection based on the Internal States of Large Language Models

https://www.doubao.com/chat/2890771455675394

https://arxiv.org/pdf/2403.06448

速览

这篇论文主要介绍了一种基于大语言模型（LLMs）内部状态的无监督实时幻觉检测框架MIND，还提出了一个新的评估基准HELM，用于评估多个大语言模型的幻觉检测能力。

  1. 研究背景：大语言模型在自然语言处理任务中表现出色，但会产生幻觉，即生成逻辑连贯但事实错误或有误导性的内容，影响其在实际应用中的效果，因此需要研究检测和减轻幻觉的方法。现有研究主要集中在事后处理技术
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Unsupervised Real-Time Hallucination Detection based on the Internal States of Large Language Models
c_cpp_csharp的专栏
05-24 181
大型语言模型中的幻觉是指大型语言模型产生连贯但事实上不准确的反应的现象。这一问题破坏了LLM在实际应用中的有效性，因此需要研究检测和减轻LLM的幻觉。先前的研究主要集中在幻觉检测的后处理技术上，由于与LLM的推理过程分离，这些技术往往计算密集，有效性有限。为了克服这些限制，我们引入了MIND，这是一种无监督的训练框架，它利用LLM的内部状态进行实时幻觉检测，而不需要手动注释。此外，我们还介绍了HELM，这是一种评估多个LLM幻觉检测的新基准，具有不同的LLM输出和LLM在推理过程中的内部状态。
大模型安全相关研究
CSPhD-winston的博客
09-11 553
翻译：arXiv-2023 PromptRobust: Towards Evaluating the Robustness of Large Language Models on
【论文阅读】语言模型何时需要检索增强
qq_52852138的博客
10-30 1003
语言模型何时需要检索增强
[论文阅读]Adversarial Semantic Collisions
m0_52911108的博客
04-29 698
中，攻击者将冲突文本插入到输入文本中，使其被选为最相关的内容。第一种技术积极地生成冲突，而不考虑潜在的防御措施。然后开发了两种技术，
【论文阅读/复现】RT-DETR的网络结构/训练/推理/验证/导出模型
静谧、淡雅
04-29 1004
RT-DETR的网络结构/训练/推理/验证/导出模型
论文笔记-基于多层感知器（MLP）的多变量桥式起重机自适应安全制动与距离预测
sagima_sdu的博客
04-29 502
IET Cyber-Systems and Robotics》出版山东大学团队的研究成果，文章题为“摘要桥式起重机的紧急制动及其制动距离预测是其安全运行中的关键难题。本文采用多层感知器（MLP）实现具有多种变量的桥式起重机自适应安全距离预测功能。首先，构建了桥式起重机的离散动力学模型，并在角度约束下引入模型预测控制（MPC）以保证安全制动；其次，分析并筛选了影响安全距离预测的输入变量，分别评估其对MLP预测精度的影响；然后，构建训练集和测试集，在训练集上对MLP模型进行了优化；
[论文阅读]ReAct: Synergizing Reasoning and Acting in Language Models
m0_52911108的博客
04-25 1429
ICLR 2023这是一篇在2022年挂出来的论文，不要以现在更加强大且性能综合的LLM来对这篇文章进行批判。思想来源于作者对人类行为的分析：在人类从事一项需要多个步骤的任务时，而步骤和步骤之间，或者说动作和动作之间，往往会有一个推理过程以做一道菜为例，切好菜和打开煤气之间，有一个这样的推理，或者说内心独白：”现在我切好菜了，后面要煮菜了，我需要打开煤气。“在做菜过程中，如果发生意外，发现没有盐时，有这样一个推理：”没有盐了，今天我就用胡椒粉调味“，然后我们就会去拿胡椒粉。
论文阅读 2024 arxiv Comprehensive Assessment of Jailbreak Attacks Against LLMs
CSPhD-winston的博客
04-30 590
这篇论文是关于大语言模型越狱攻击的全面评估，研究发现现有大语言模型都存在越狱风险，当前防御手段也无法完全抵御这些攻击。Figure 1：不同越狱攻击方法示例。Figure 2：测量过程概述。
论文笔记（八十二）Transformers without Normalization
最新发布
xzs1210652636的博客
04-30 658
归一化层在现代神经网络中无处不在，并且长期以来被认为是必不可少的。本工作表明，通过一种非常简单的技术，不使用归一化的Transformer也能达到相同或更好的性能。我们提出了动态Tanh (Dynamic Tanh——DyT)，一种逐元素操作$\text{DyT}(x)=\tanh(\alpha x)$，可作为Transformer中归一化层的直接替代。$\text{DyT}$的灵感来源于观察到Transformer中的层归一化通常会产生类似tanh的“S型”输入输出映射。通过引入$\text{DyT}$，
论文阅读：2024 ACM SIGSAC Membership inference attacks against in-context learning
CSPhD-winston的博客
04-30 498
在这个示例中，语言模型要完成的任务是根据问题的答案类型进行分类，比如答案类型可能是数字（Number）、地点（Location）、人物（Person）、描述（Description）、实体（Entity）或缩写（Abbreviation）。：帮助理解ICL的工作方式，它通过在输入中添加提示（包含指令和演示示例），让语言模型在不更新自身参数的情况下，通过类比示例来完成特定任务。这篇论文主要研究了大语言模型中上下文学习（ICL）的隐私安全问题，提出针对ICL的成员推理攻击方法，并探索了相应的防御策略。
【论文阅读】APMSA: Adversarial Perturbation Against Model Stealing Attacks
Glass_Gun的博客
04-30 753
训练深度学习 （DL） 模型需要专有数据和计算密集型资源。为了收回训练成本，模型提供商可以通过机器学习即服务 （MLaaS） 将 DL 模型货币化。通常，该模型部署在云中，同时为付费查询提供可公开访问的应用程序编程接口 （API） 以获得好处。然而，模型窃取攻击对这种模型货币化计划构成了安全威胁，因为它们窃取了模型，而没有为未来的大量查询付费。具体来说，攻击者通过对目标模型进行查询，获取输入输出对，从而通过对替代模型进行逆向工程来推断模型的内部工作机制，从而剥夺了模型所有者的商业优势，泄露了模型的隐私。
Universal Value Function Approximators 论文阅读（强化学习，迁移？）
qq_41673009的博客
04-26 1034
这也是我前两次无解的原因之一，因为我一直以为这个实验的最终目的是吃尽可能多的豆子（每个"demon"是一个负责学习特定子目标价值函数的独立DQN实例并不是游戏中的敌人，也不是多个Pac-Man (游戏中确实只有一个Pac-Man角色)），而伪奖励(Pseudo-reward)只是子任务，会有进行迁移然后完成最终任务，但是我自始至终没有看到相关描述，所以这里的迁移很可能只是测试验证泛化性的那种意思！MS Pacman的游戏的设定在这里也改了:Pac-Man需要吃掉所有豆子同时避开敌人。
论文阅读：2024 arxiv HybridFlow: A Flexible and Efficient RLHF Framework
CSPhD-winston的博客
04-26 938
HybridFlow通过“分层控制+高效切换+智能分配”，让大模型的人类反馈训练更快、更灵活，为开发更安全、更智能的AI奠定基础。
论文阅读：2024 ICML In-Context Unlearning: Language Models as Few-Shot Unlearners
CSPhD-winston的博客
04-30 506
这篇论文主要介绍了一种针对大语言模型（LLMs）的新型遗忘学习方法——上下文内遗忘（In-Context Unlearning，ICUL），旨在解决从模型中删除特定训练数据的问题。Figure 1：上下文内遗忘与标准遗忘的差异。Figure 2：上下文内遗忘的示例。
论文阅读：2024 EMNLP User Inference Attacks on Large Language Models
CSPhD-winston的博客
04-30 364
这个威胁模型的关键在于，攻击者仅通过少量来自用户的样本和对模型的黑盒访问（只能查询模型的似然值，不知道模型内部结构和参数），就能尝试推断用户数据是否用于模型微调，揭示了大语言模型在使用用户数据微调时存在的隐私风险。这篇论文主要研究了大语言模型（LLMs）在使用用户数据进行微调时的隐私问题，提出了用户推理攻击概念，并探讨了相应的缓解策略。
论文笔记（八十）π0.5: a Vision-Language-Action Model with Open-World Generalization
xzs1210652636的博客
04-26 926
为了让机器人发挥实际作用，它们必须在真实世界、实验室之外执行与实际相关的任务。虽然视觉-语言-动作（VLA）模型在端到端机器人控制上已经展示出令人印象深刻的效果，但这些模型在实际环境中的**泛化能力**仍是一个未解的问题。我们描述了 $π_{0.5}$，一个基于 $π0$ 的新模型，它使用在异构任务上的协同训练来实现广泛的泛化能力。**$π_{0.5}$ 利用来自多个机器人、高级语义预测、网络数据和其他来源的数据，从而实现广泛可泛化的现实世界机器人操作。** **我们的系统结合了协同训练和混合多模态示例，这
论文阅读：2025 arxiv Aligning to What? Limits to RLHF Based Alignment
CSPhD-winston的博客
04-26 574
这篇论文泼了盆冷水：RLHF虽然能让模型在表面上更“合规”，但对深层的隐性偏见效果微弱，甚至可能因数据和方法限制导致新问题。要让AI真正“公平”，可能需要从数据源头、训练方法到评估体系的全面革新。
【论文阅读】Partial Retraining Substitute Model for Query-Limited Black-Box Attacks
Glass_Gun的博客
04-29 907
针对深度神经网络（DNN）分类器的黑盒攻击正受到越来越多的关注，因为它们在现实世界中比白盒攻击更实用。在黑盒环境中，对手对目标模型的了解有限。这使得难以估计用于制作对抗示例的梯度，从而无法将强大的白盒算法直接应用于黑盒攻击。因此，。然后，对手使用替代模型而不是未知目标模型来制作对手示例。。然而，模拟目标模型通常需要进行大量查询，因为从一开始就训练新的DNN。在这项研究中，我们提出了一种新的替代模型训练方法，以。我们认为查询数量是实施实际黑盒攻击的重要因素，因为现实世界的系统通常出于安全和财务目的限制查询。
Sce2DriveX: 用于场景-到-驾驶学习的通用 MLLM 框架——论文阅读
qq_54556560的博客
04-29 569
Sce2DriveX利用来自局部场景视频和全局BEV地图的多模态联合学习，深入了解长距离时空关系和道路拓扑，增强其在3D动态/静态场景中的综合感知和推理能力，实现跨场景的驾驶泛化。在此基础上，它重建了人类驾驶固有的内隐认知链，涵盖场景理解、元动作推理、行为解释分析、运动规划和控制，从而进一步弥合了自动驾驶与人类思维过程之间的差距。：传统方法依赖刚性规则或小型模型，缺乏对驾驶过程的渐进式推理（Chain-of-Thought, CoT），导致决策逻辑不透明，难以与人类驾驶思维对齐。
ECCV 2020论文：超快速结构感知车道检测技术
本文档所介绍的“Ultra-Fast-Lane-Detection”是一篇在ECCV 2020（欧洲计算机视觉国际会议）上被接受的论文，它提出了一种超快速的结构感知深度路检测方法。以下是对该论文及其相关知识点的详细介绍。 ### 关键知识...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CSPhD-winston-杨帆

给我饭钱

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值