- 博客(194)
- 收藏
- 关注
RSS订阅原创 [论文阅读]InceptionRAG: Stealthy Poisoning Attack Against Retrieval-Augmented Generation
CCS 2026通过图1理解作者思路。作者的意思是不像其他攻击方案一样过于明显地暴露自己，是把所谓的逻辑推理链给污染掉，单个文档揪出来看都是没问题的，但是放在一起让大模型推理就会产生错误答案的诱导。
2026-09-28 23:15:34
175
原创 【论文阅读】UniC-RAG: Universal Knowledge Corruption Attacks to Retrieval-Augmented Generation
典型 RAG 系统由三部分组成：知识库、检索器和 LLM。用户输入 query 后，检索器从知识库中召回 top-k 相关文本，再把这些文本作为上下文交给 LLM 生成回答。论文指出，RAG 的安全风险来自一个关键假设：如果知识库内容可以被外部来源影响，例如网页、百科、论坛、文档库、用户上传内容等，那么攻击者就可能把恶意文本注入知识库。已有攻击大致可以分为三类：单 query 攻击、多 query 但主题相近的攻击，以及带后门触发词的攻击。
2026-07-03 17:53:59
248
1
原创 【论文阅读】Stable-RAG: Mitigating Retrieval-Permutation-Induced Hallucinations in Retrieval-Augmented Gen
近期工作 【Clue: Non-parametric verification from experience via hidden-state clustering；Efficient latent semantic clustering for scaling test-time computation of LLMs.】利用隐藏状态来揭示潜在的推理轨迹，这些轨迹通常作为生成不确定性的指标。因此，作者提出通过隐藏状态的谱聚类来量化模型生成的各种不确定性。
2026-06-28 22:15:16
202
1
原创 [论文阅读]OneSearch: A Preliminary Exploration of the Unified End-to-End Generative Framework for E-comm
模块解决的问题KHQE：关键词增强的层次量化编码如何把商品/查询编码成适合生成模型预测的 Semantic IDsMu-Seq：多视角行为序列注入如何让模型理解用户短期兴趣和长期偏好如何把搜索建模成端到端生成任务PARS：偏好感知奖励系统如何让生成结果既相关，又符合点击、购买、转化偏好。
2026-05-18 22:00:38
506
原创 【论文阅读】Differentiable Semantic ID for Generative Recommendation
DIGER通过创新的Gumbel噪声注入和不确定性衰减策略，首次实现了生成式推荐中语义ID与推荐目标的端到端联合优化。
2026-05-12 10:29:52
969
原创 [论文阅读]An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
ICLR 2021仍旧看图理解文章作者的做法是把图像进行切分，每一个切分的块进行线性排布，输入线性映射层，加上位置编码、分类头特殊token，然后把embedding结果输入Transformer块中，最后经过一个MLP进行分类识别。输入图像 → 分块 (patch) → 展平 → 线性投影 (Patch Embedding) → 添加位置编码 → [CLS] token 拼接 → Transformer Encoder → MLP 分类头 → 输出类别。
2026-04-20 15:11:04
153
原创 [论文阅读]In-Place Test-Time Training
这样模型在推理时，就能一边读上下文，一边把当前上下文压进这部分权重里。用现有 MLP 的 Wdown 充当可在推理时更新的 fast weights，用面向 next-token prediction 的目标把当前上下文压进这块参数里，并通过 chunk-wise + prefix-sum 的方式把这个动态更新过程做成严格因果且可并行的机制。
2026-04-11 23:22:21
758
原创 [论文阅读]DeepSeek-V3 Technical Report
核心亮点：多头潜在注意力机制MLA、DeepSeek MoE架构、多Token预测训练目标MTP这张图其实已经可以比较清晰地说明MLA和MoE架构了。对于MLA，主要的策略是把输入的hiddenstates进行降维，使得KV Cache的量更小，需要运算的时候再升维处理。MoE则是添加了Router，来决定当前token的隐状态走哪些公开的专家头，以及所有token一定都会走通用的专家头。
2026-04-06 11:22:15
726
原创 [论文阅读]EcoSafeRAG: Efficient Security through Context Analysis in Retrieval-Augmented Generation
emnlp2025仍旧先根据图尝试理解作者的想法：作者的做法是从句子级别的筛选检测入手？其实直接看图似乎看不出来什么端倪RAG系统的局限性体现在。
2026-02-10 18:45:04
704
原创 [论文阅读]Through the Stealth Lens: Rethinking Attacks and Defenses in RAG
使用模型内部注意力机制方案实现对有毒文本的检测，最理想情况是有毒文本的数目不到topk的一半，此时 AV Filter 才会比较有效，因为该方法基于对检索集里每个段落在生成过程中被模型关注程度的进行判别。具体来说，首先计算模型在生成回答时的 multi-head、多层注意力权重，并对所有输出 token 对输入 token 的注意力取平均得到统一的注意力矩阵，从中对每个段落内被关注最多的α个 token 的注意力累加得到该段落的；再将这个得分除以所有k个段落总得分进行标准化得到。
2026-01-09 20:56:21
766
原创 [论文阅读]SeCon-RAG: A Two-Stage Semantic Filtering and Conflict-Free Framework for Trustworthy RAG
NIPS 2025阅后总结这是一篇事前防御方案，作者提出的SeCon-RAG主要是通过文档入库前过滤与检索后过滤两阶段实现RAG系统鲁棒性的提升。两阶段的过滤都依赖于从文档中抽取的意图、实体和关系三元组。入库前过滤作者将待入库文档向量化，接着通过基于的联合过滤对语料库进行初筛，这里聚类用于发现向量空间中高度相似的文档簇，通常对应潜在模板化或重复的污染内容，并结合提取的结构化语义关系得分，对文档做语义相关性评估，将同时通过聚类与语义评估的部分文档筛除，从而避免对抗性污染文档进入干净知识库。
2026-01-07 16:23:11
974
原创 [论文阅读]One Shot Dominance: Knowledge Poisoning Attack on Retrieval-Augmented Generation Systems
EMNLP 2025阅后总结：作者是对PoisonedRAG方案的进一步优化，目的是使用单一有毒文档影响RAG系统的决策。作者把有毒文本的构造分成两部分：一个是权威机构的认证信息，增强生成模型对有毒文本的置信度；另一个是证据链生成，确保逻辑闭环并且和目标问题的主题契合。前置任务则是让一个大模型依据目标问题和目标答案，抽取出来问题的核心意图以及各种实体和关系。
2026-01-06 14:49:50
1030
原创 [论文阅读]Why So Gullible? Enhancing the Robustness of Retrieval-Augmented Models against Counterfactual
只看这个图，对文章的理解：作者是依据下游任务同步训练了一个判别器。检索到的文段聚合之后给decoder得到一个答案，分离开给判别器后得到不同的预测概率。使用gpt3.5有两种策略，一种是直接把N个上下文和一个指令性的分离任务prompt给大模型，让它自行判别和给出答案，另一种是吧判别器的判别结果作为前提给大模型，让大模型依据有效文档生成答案。
2026-01-05 11:21:40
976
原创 [论文阅读]Rescuing the Unpoisoned: Efficient Defense against Knowledge Corruption Attacks on RAG Systems
ACSAC 2025尝试用图理解作者的工作：对检索到的结果进行聚类，还有一个基于浓度的方案（？。最后用这些特征来识别对抗性文段。作者认为的RAG攻击面：a数据投毒攻击 b检索投毒攻击，操作检索器出发恶意内容 c提示操纵攻击，修改提示词对比现有的RAG防御方案，作者提出的RAGDefender的优势。RobustRAG是分离检索到的段落并验证它们一生成最终响应；Discern-and-Answer则是微调一个判别起来处理检索到的文档之间的知识冲突。
2026-01-04 16:12:26
1176
原创 [论文阅读]RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation
不仅仅是粗略的召回/准确率，而能识别出检索和生成组件的具体优劣以及它们之间的交互特性。这些指标更关注答案是否覆盖重要事实及是否正确，而不是单纯的 n-gram 或向量相似度。衡量模型“凭空生成错误事实”的比例，即与任何检索内容无直接语义蕴含关系的错误。是指答案中独立的事实性陈述，经由工具抽取和语义蕴含判断生成这些指标。检索到的片段中，与 ground truth 有语义关系的片段比例。这两项指标帮助定位生成错误是否因为检索带来的噪声信息所致。评估回答中正确的断言有多少是从检索内容中真正推导出来的。
2025-12-26 14:11:06
1113
原创 【论文阅读】Safeguarding RAG Pipelines with GMTP: A Gradient-based Masked Token Probability Method for Poi
阅后感：方法还是挺naive的，找最影响相似度的token，掩码后尝试恢复，以这个概率作为判别依据。为什么只考虑了PRAG的白盒方案，因为作者也知道，这种防御方案实际上 是PPL方案的延伸，从文本层面转换到token层面，这样就会导致黑盒PRAG的恶意文本无法被有效监测到，因为黑盒方案是两个fluent的语句拼接在一起的，单一token被掩码后仍有较高概率恢复出来，相较于白盒的hotflip优化得到的无意义的单词组合而言。
2025-12-25 22:46:18
394
原创 [论文阅读]Secure Retrieval-Augmented Generation against Poisoning Attacks
每个目标问题注入5个恶意文本，使用gpt3.5作为最终评估的模型，使用GPT2计算困惑度，使用点积计算相似度，使用Contriever检索器，检索top5个文本。所以作者引入了困惑度差异PD得分，衡量划分出来的两个快之间的困惑度差异，计算方法为前半部分的困惑度减去后半部分的困惑度。作者说计算整个文本的困惑度通过实验证明无效，因此作者采取的方案是把每一个扩大检索得到的文本分为两块，大致均匀的分割文本或者使用标点符号。【检索N条相关文本，每一个都计算PD、PM和TS值，如果任何一个指标越界，那么就剔除。
2025-12-25 15:48:18
675
原创 [论文阅读]AttnTrace: Attention-based Context Traceback for Long-Context LLMs
阅后总结先前的事后归因方案的问题在于慢、不稳定、易受干扰或者如果多内容共同导致输出就无法有效归因。作者的想法是使用注意力权重实现溯源，利用的是LLM内部产生的注意力权重可以用来衡量每个上下文对生成结果的贡献。同时作者注意到单纯使用注意力仍存在问题：注意力会集中在少数token上，比如句号、特殊符号，但是这些token并不是真正重要的语义来源，也就是说对所有token平均注意力权重会稀释掉注意力信号；
2025-12-19 17:31:51
864
原创 [论文阅读]TracLLM: A Generic Framework for Attributing Long Context LLMs
这种溯源方案是后防御，是事情已经发生了，去找问题出在哪核心思想就是使用Shapley值+二分法的方式，使用分组方案来归因LLM的输出与哪个或者哪些文本信息强相关。为了保证精度，作者采用了贡献分数去噪+贡献分数集成两种技术。前者主要应对的是不同排列组合下文档的贡献分数可能不同的问题，作者取前20%部分最高贡献度的排列组合，再针对性的获得每个单一文本的贡献分数，有效避免A+B->O，如果先A后B，那么B的边界贡献就很高；如果先B后A，那么B的贡献就会被稀疏化。
2025-12-11 19:18:02
1192
原创 [论文阅读]Who Taught the Lie? Responsibility Attribution for Poisoned Knowledge in Retrieval-Augmented G
仍旧看图理解文章：还是要基于用户反馈的被动防御策略，是根据用户反馈的错误信息，来实现溯源，找到有害信息。这个内容似乎和Traceback一致啊去他给出的代码库看了一下，合着Traceback这篇文章也是他的，一篇S&P一篇WWW，无敌了。现在我就更好奇这篇文章和WWW的有什么区别了。出于好奇，搜了一下作者，发现他的产出非常迅速啊，今年已经产出4篇一作文章，都是RAG安全领域的文章，其中两篇中稿两篇暂时没中。问如何防止投毒攻击，而是问：谁在说谎？
2025-11-26 22:41:12
992
原创 [论文阅读]GRADA: Graph-based Reranking against Adversarial Documents Attack
阅后总结。作者的主要思路是，既然原始的topk中很容易掺杂对抗性文本，那么我们如果物理上扩大检索范围，扩展到top2k，重排序后返回topk结果，这样就很有可能让良性且相关的文档作为输入内容。所以关键是对检索到文本的打分与重排序机制。作者的想法是使用图来表征检索到的文档之间的关系，边的权重表征节点之间的相似度结果，作者提出的一个方案是把两个节点的相似度直接拿来做边的权重；
2025-11-26 20:24:01
692
原创 [论文阅读]Rethinking Toxicity Evaluation in Large Language Models: A Multi-Label Perspective
仍旧看图理解文章。文章是做有毒文本检测的，从标题和这个图来看，具体的操作就是把prompt打上细粒度的多标签机制，针对的主要是一些用户的输入，一提到打标签就不得不让人思考：作者的细粒度标签的依据是什么，人工打标签还是大模型自动化打标签？多标签的目的是检测，使用什么样的方案利用这些多标签？是传统机器学习还是新型大模型？
2025-11-19 22:15:42
1008
原创 [论文阅读]“Give a Positive Review Only“: An Early Investigation Into In-Paper Prompt Injection Attacks a
【阅后评价：因为前些日子有人就在pdf文稿中用白色字体的内容嵌入了一些指令，但是搞笑的是源文件上传到arxiv之后，这些文本在web端被显示展示了，闹出了乌龙。作者提出了所谓的两种IPI攻击方案，一个静态一个动态，前者就是固定的文本嵌入，后者是迭代交互的方式来增强LLM生成的高分文本内容，不得不说啊，真的是啥东西都有人发论文呢，图一乐即可。静态攻击：就是在原始文档中嵌入一些人类不可见的指令性提示词，让AI给出高分。迭代攻击：也就是注入的内容是依据参考模型的输出值来判断是否继续优化的。
2025-11-13 22:46:56
1136
原创 [论文阅读]Friend or Foe: How LLMs‘ Safety Mind Gets Fooled by Intent Shift Attack
【阅后总结：关注越狱攻击，方案是把具有明显恶意意图的问题使用大模型进行五种类型的改写，使得输入给大模型的文本的意图变得模糊，从原本的用户想获取恶意输出，编成用户只是想了解一些事情，因此输出了这些恶意的内容。看图猜测：给定原始的恶意查询，前面的做法是把恶意查询的内容包裹在某个文本描述体中，作者的做法是重写？使得看起来是良性的查询。
2025-11-13 16:07:51
997
原创 [论文阅读]Real AI Agents with Fake Memories: Fatal Context Manipulation Attacks on Web3 Agents
【仍旧看图理解全文：恶意用户构造的输入中模拟了目标agent的常规运行输入输出流，在自己的输入里面添加上恶意的信息，尝试欺骗agent在虚假的系统指令之后执行新的操作。这样的恶意用户-agent的对话流会被存储到外部记忆中，由于Agent的所有用户共用这样的外部记忆，若被检索到则会对良性用户造成一定的影响。这种从常规运行输入输出流入手的模拟型操作似乎本来就是prompt engineering中的一部分，所以本质上是把这个方案拿过来迁移到web3，区块链等现实一些的应用场景中，重在体现出来其中的金融风险】
2025-11-04 15:40:39
763
1
原创 [论文阅读]POISONCRAFT: Practical Poisoning of Retrieval-Augmented Generation for Large Language Models
提出了一种名为 POISONCRAFT 的新型实用攻击方法，该方法专门针对基于检索与生成（RAG）的系统设计，旨在通过向知识库中注入被篡改的样本来操纵大型语言模型（LLM）的输出结果。与以往的攻击方式不同，POISONCRAFT 不需要攻击者了解目标用户的查询内容或其主题【
2025-11-03 22:00:15
1039
原创 [论文阅读]EIA: Environmental Injection Attack on Generalist Web Agents for Privacy Leakage
包装的挺好的，内核挺一般的。ICLR 2025【直接看图1的话，这篇工作主要是在web端注入了对人来说不可见的一些恶意提示词，这些恶意提示词会影响agent的决策，导致信息泄露。这个思想在文章中体现过】主要探究的是web agent（比如SeeAct）在这种攻击下的PII泄露情况环境注入攻击（Environmental Injection Attack, EIA）是一种新型的攻击方法，专门针对通用网页代理（Generalist Web Agents）在执行任务时的隐私泄露风险。
2025-11-02 22:32:53
899
原创 [论文阅读]Progent: Programmable Privilege Control for LLM Agents
现有攻击都利用了 LLM 代理的自主性，欺骗它们执行其原始任务不需要的危险操作。解决此问题的一个高级解决方案是实施权限控制，确保代理不会在其预期目的之外执行敏感操作。然而，由于 LLM 代理的多样性和复杂性，要实现这一点具有挑战性。LLM 代理的广泛应用意味着在不同的场景中的安全需求不同，攻击媒介从恶意提示到投毒记忆和恶意工具等，需要一个富有表现力和通用的安全框架，这样的框架可以适应不同agent的上下文、设计和风险。LLM是概率神经网络，其内部工作难以理解。
2025-10-14 17:37:01
1305
原创 [论文精读]Traceback of Poisoning Attacks to Retrieval-Augmented Generation
只看abstract，这是一篇RAG溯源的文章，为什么强调溯源？因为自PoisonedRAG以来，通过污染知识库间接影响RAG系统生成结果的攻击方案越来越多，常规的防御方案都是指标不治本，甚至会加重幻觉，核心问题在于知识库，对每一个检索结果进行溯源，可以非常有效地辅助剔除攻击者所注入的对抗性文本。这些都是比较容易想到的点，但是这篇文章的作者率先做了实验发表了论文抢占了先机。
2025-10-10 16:56:14
1197
原创 [论文阅读]Dataset Protection via Watermarked Canaries in Retrieval-Augmented LLMs
这是一篇类似成员推理的文章，目的在于防止版权内容被未授权使用，因此添加水印。在正式阅读之前我的一些想法考虑到PoisonedRAG方案在构造恶意文本的时候具有的检索性前缀目的是在目标问题被问道时可以最大化二者的相似度，那么针对这种版权检测，尤其是一整个数据集的版权检测，能否是在数据集原始有用数据的基础上插入几条专门用于检测是否存在于知识库的特定文本，检测方由于知道自己设定的检测条目内容，在给RAG的时候直接把这个条目内容作为问题，理想条件下检测条目就会被检索出来，用于辅助输出。
2025-10-09 17:25:03
1018
原创 [论文阅读]Poison-RAG: Adversarial Data Poisoning Attacks on Retrieval-Augmented Generation in Recommende
ECIR2025，CCF C类会议。
2025-10-08 11:28:45
1127
原创 [论文阅读]PromptArmor: Simple yet Effective Prompt Injection Defenses
提出了，一种出人意料地简单但有效的针对 prompt 注入攻击的防御方法。PromptArmor 解决了上述现有防御措施的主要局限性。它的功能类似于 agent 的防护栏：给定一个 agent 输入，PromptArmor 首先检测它是否被注入的 prompt 污染。如果检测到污染，PromptArmor 会在将输入传递给 agent 进行处理之前，从输入中删除注入的 prompt。PromptArmor 通过直接提示一个现成的LLM 来执行检测和删除操作，将该 LLM 称为防护栏 LLM。
2025-10-07 21:53:59
1573
2
原创 [论文阅读]Benchmarking Poisoning Attacks against Retrieval-Augmented Generation
扩展的数据集上，较高的K值会提高中毒文本的召回率，但攻击不会变得更有效，因为包含正确答案为LLM提供了足够的可靠信息来抵抗操纵;其次，具有自适应检索功能的框架（例如FLARE）通过在不需要时跳过检索来展示强大的鲁棒性，从而减少了对中毒内容的暴露。值得注意的是，LLM代理的额外复杂性并没有阻碍攻击。相反，EX-M和EX-L版本检索到更多具有更高相似度的正确文本，为LLM提供了更强的信号，并降低了攻击成功率。这暴露了当前对齐方法的一个关键局限性，即主要针对直接提示输入，而不是嵌入在检索到的上下文中的有害内容。
2025-09-29 17:16:53
1308
原创 [论文阅读]MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks
针对多模态RAG框架的第一个知识投毒攻击采用两种针对不同攻击场景的攻击策略：（1）局部投毒攻击(LPA)注入特定于查询的事实错误的知识，这些知识看起来与查询相关，从而引导MLLMs生成目标性的、攻击者控制的错误信息。例如，在AI驱动的电子商务助理中，恶意卖家可以巧妙地修改产品图片，导致对低质量商品的虚假推荐或夸大的评价。(2) 全局中毒攻击 (GPA) 引入单个无关的知识实例，该实例被认为与所有查询相关，从而扰乱了整个 RAG 管道并导致生成无关或无意义的输出。例如，针对问题“埃菲尔铁塔是什么颜色？
2025-09-25 20:30:48
1083
原创 [论文阅读]Defending Against Knowledge Poisoning Attacks During Retrieval-Augmented Generation
这篇工作是针对PoisonedRAG的一个潜在防御的探究，假设PRAG的攻击者已经攻击成功，在LLM运用检索结果生成回答之前使用作者定义的过滤器，把检索结果过滤一遍，剔除掉有害的恶意文本。我们当然知道这种思想，关键是如何实施，就像在这篇文章中，需要检索结果里面有害信息小于k/2才可以比较有效地获取正确结果。作者是针对PoisonedRAG的攻击方案的防御策略，威胁模型和PoisonedRAG一致，都是攻击者有一组目标问题和一组目标回答，通过黑白盒方式构造恶意文本注入知识库来实现目标回答。
2025-09-12 21:55:15
1306
2
原创 [论文阅读]A Practical Memory Injection Attack against LLM Agents
与独立的LLM相比，LLM智能体通常配备规划模块、一系列工具和一个内存库LLM代理的记忆可以分为短期记忆（STM）和长期记忆（LTM）。STM充当临时工作区，在处理当前输入查询时保留代理的推理和操作。相反，LTM维护代理与环境过去交互的记录，通常包含代理的输入查询及其对应的输出。当出现新的查询时，最相关的LTM记录将从记忆库中检索出来，作为有效执行任务的演示。LTM的集成带来了潜在的安全问题，因为它允许来自先前会话的用户影响后续会话中用户的代理决策。
2025-09-11 16:28:29
1090
原创 [论文阅读]ATM: Adversarial Tuning Multi-agent System Makes a Robust Retrieval-Augmented Generator
EMNLP 2024。
2025-09-09 15:35:16
921
原创 【论文精读】Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection
推理阶段：图1和算法1表征推理阶段的路径。对于每个 x 和前面的生成 y<t，模型解码一个检索符元来评估检索的效用。如果不需要检索，模型会预测下一个输出段，就像在标准 LM 中一样。如果需要检索，模型会生成：一个评论符元来评估检索到的段落的相关性，下一个响应段，以及一个评论符元来评估响应段中的信息是否得到段落的支持。最后，一个新的评价符元评估了响应的整体效用。遵循 Liu et al. (2023a)，使用一个与检索到的段落无关的“感知”效用值。
2025-08-27 12:11:32
1114
原创 [论文阅读]RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation
现有的 RAG 实现主要集中在用于上下文检索的初始输入，忽略了模棱两可或复杂查询的细微差别，这些查询需要进一步澄清或分解以获得准确的响应。为此，本文提出(RQ-RAG)，旨在通过。无脑整合RAG导致的问题：不相关的上下文降低生成质量，甚至阻碍LLM回答它们原本能够回答问题的能力；对于简单的查询类似日常问候等，应该直接回复，此时整合上下文十分不必要。因此，模型应该学会按需搜索（图1左上角场景）。
2025-08-25 11:43:15
1277
原创 [论文阅读]Attractive Metadata Attack: Inducing LLM Agents to Invoke Malicious Tools
大模型可以利用外部工具，这种以工具为中心的范式引入了一个未被充分探索的攻击面：攻击者可以操纵工具元数据（名称、描述以及参数模式等）来影响代理的行为。作者认为这是一个新的攻击面，元数据攻击。在作者看来，先前的攻击方案主要依赖于对提示词或者工具调用链的直接修改，作者发现了一个更加微妙但强大的攻击面：操纵恶意工具的元数据（例如，名称、描述和参数模式），以诱导LLM agent调用它。定义为Attractive Metadata Attack，AMA。
2025-08-21 12:01:43
1162
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人