【论文阅读】Defending Large Language Models Against Attacks With Residual Stream Activation Analysis

最新推荐文章于 2025-12-06 20:25:44 发布
原创 最新推荐文章于 2025-12-06 20:25:44 发布 · 305 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #语言模型 #人工智能

论文：Defending Large Language Models Against Attacks With Residual Stream Activation Analysis

作者：Amelia Kawasaki 、Andrew Davis 、 Houssam Abbas 

发表：

摘要

以 OpenAI 的 ChatGPT 为代表的大型语言模型 (LLM) 的广泛采用，使防御这些模型上的对抗性威胁的必要性凸显出来。这些攻击通过引入恶意输入来操纵法学硕士的输出，破坏模型的完整性和用户对其输出的信任。为了应对这一挑战，我们的论文提出了一种创新的防御策略，允许白盒访问法学硕士，利用LLM的Transformer层之间的剩余激活分析。我们应用一种新颖的方法来分析残留流中的独特激活模式，以进行攻击提示分类。我们整理了多个数据集来演示这种分类方法如何在多种类型的攻击场景（包括我们新创建的攻击数据集）中具有高精度。此外，我们通过集成法学硕士的安全微调技术来增强模型的弹性，以衡量其对我们检测攻击能力的影响。结果强调了我们的方法在增强对抗性输入的检测和缓解、推进法学硕士运作的安全框架方面的有效性。

方法

贡献：

1、用模型的残差数据集训练一个LigtGBM分类器，对输入prompt进行识别（两类Attack、Benign）

2、使用防御分类检测输入提示词

Devil Like
关注
【论文阅读笔记】NeurIPS2020文章列表Part1
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
ACL 2022 主会长文论文分类整理
Kaiyuan_sjtu的博客
05-13 6968
© 作者｜蒋锦昊 机构｜中国人民大学高瓴人工智能学院研究方向 | 自然语言处理导读ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。官方发布的接收论文列表：Accepted Papers...
【AAAI 2021】全部接受论文列表（一）
yinizhilianlove的博客
01-14 8848
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
顶会速递 | ICLR 2020录用论文全集
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
【论文合集】Awesome Backdoor Learning
m0_61899108的博客
05-19 3958
关于后门攻击&防御的博客与论文。
AAAI2021论文列表（中英对照）
dovings的博客
07-04 1万+
AAAI2021论文列表（中英对照）
CVPR 2018 paper list（论文列表）
热门推荐
人工智能技术学习与分享
05-03 2万+
原文链接：http://cvpr2018.thecvf.com/program/main_conference 52 Embodied Question Answering Abhishek Das (Georgia Tech); Samyak Datta (Georgia Tech); Georgia Gkioxari (Facebook); Stefan Lee (Georgia ...
总结 | ACL2022主会论文分类整理
04-25 1万+
大家好，我是对白。ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。本文对ACL 2022接受列表中的的602篇主会长文论文，按不同的研究主题进行分类整理（分类标准参考 ACL 官方投稿主题），整理过程中难免有疏漏，欢迎大家在下方评论留言，交流探讨！论文列表已经同步更新到 GitHub，欢迎大家关注和 Star。目录Adversari
【CVPR2022】论文列表与下载——PartThree
TomRen
06-12 5169
【CVPR2022】完整论文列表
【论文阅读20】MM-LLMs：多模态大语言模型的最新进展
Ma040713的博客
12-02 1217
【摘要】《MM-LLMs:多模态大语言模型最新进展》综述了多模态大语言模型(MM-LLMs)的技术发展。论文提出通用五组件架构：模态编码器、输入投影器、LLM骨干、输出投影器和模态生成器，并详细分析了126个SOTA模型的演进趋势。研究揭示了从单一理解到任意模态转换的发展路径，总结了提升性能的关键因素，如高分辨率输入、高质量微调数据等。最后探讨了未来研究方向，包括扩展更多模态、轻量化部署和减少幻觉等。该研究为理解多模态大模型技术发展提供了系统性参考。
论文笔记（一百零六）RynnVLA-002: A Unified Vision-Language-Action and World Model
xzs1210652636的博客
12-02 1060
本文提出了RynnVLA-002，一个将视觉-语言-动作(VLA)模型与世界模型相统一的创新框架。该模型通过联合学习环境动态和动作规划，实现了视觉理解与动作生成的相互促进。研究采用了混合架构设计，结合离散联合建模和连续的Action Transformer头，有效解决了自回归动作生成中的错误累积问题，提升了泛化能力和推理速度。实验结果表明，在LIBERO仿真基准上，RynnVLA-002取得了97.4%的成功率；在真实机器人任务中，其集成的世界模型使整体成功率提升了50%，显著优于单独的VLA或世界模型。
论文阅读：农业喷雾无人机避障技术综述
m0_53605808的博客
12-06 623
在过去十年中，无人驾驶飞行器（UAV，又称无人机）已广泛应用于各种农业领域，如作物管理、作物监测、播种和农药喷洒等。尽管如此，自主性仍然是物联网（IoT）无人机系统面临的关键限制，尤其是在作为喷雾无人机使用时，需要捕获和预处理数据以实现可靠的实时障碍物检测和避撞。此外，由于通用无人机与喷雾无人机在目标和操作上存在差异，并非所有障碍物检测和避撞方法都适用于喷雾无人机。鉴于此，本文旨在综述农业喷雾无人机避障场景相关的所有分支领域的最新进展，包括喷雾无人机的结构细节。
论文阅读《Audit Games with Multiple Defender Resources》
m0_67450301的博客
12-02 830
参数图。
[论文笔记] ASR is all you need: Cross-modal distillation for lip reading (2020)
2302_76169191的博客
12-02 672
本文深度解读了 2020 年唇语识别（Lip Reading/VSR）领域的经典论文《ASR is all you need: Cross-modal distillation for lip reading》。针对 VSR 任务中“高质量视听标注数据稀缺”的核心痛点，论文创新性地提出了一种跨模态知识蒸馏框架：利用在海量纯音频语料上预训练好的 ASR 模型（教师），通过“双重监督信号”（CTC 硬标签 + 概率分布软标签），指导仅输入视频信号的 VSR 模型（学生） 在无标签数据（如 VoxCeleb2）上
2025.12.6 论文阅读
最新发布
Zcymatics的博客
12-06 328
本文提出了一种混合量子-经典模型QLSTM，通过变分量子电路(VQC)替代经典LSTM中的神经网络层。该模型采用基于反正切函数的量子编码方案，并利用Parameter-shift规则实现梯度计算。实验表明，在参数数量相近的情况下，QLSTM在学习时间序列数据时比经典LSTM收敛更快、更稳定，尤其擅长处理非线性动力学系统。虽然该模型在NISQ设备上具有应用潜力，但仍存在模拟算力瓶颈和噪声环境适应性等挑战。未来研究可优化量子电路结构并测试真实量子设备上的性能。
【论文阅读】--多模态大语言模型的安全性研究综述
我是个好人呀，O(∩_∩)O
12-02 1313
从简单高效的线性投影器和MLP，到适用于深度交互的交叉注意力机制，再到能够精细提取特征的Q-Former、P-Former以及其增强版MQ-Former，这些工具共同奠定了多模态模型复杂特征表示的基础。例如，将视觉问答数据集中的输入（图像和问题）和输出转换为多模态输入和响应，并结合任务描述丰富数据的指令格式。综上所述，不同的模态编码器根据各自的特点和应用场景，采用了不同的技术和架构，但共同目标是为多模态大型语言模型提供统一且有效的特征表示，使得模型能够在处理复杂多样的输入时实现精准的理解和生成能力。
Attention is all you need——论文笔记
aaaa_a133的博客
12-05 840
在WMT 2014英法翻译任务上，我们的模型在8个GPU上进行了3.5天的培训后，建立了一个新的单一模型最先进的BLEU得分41.8%，成本比之前下降了a small fraction of the training costs of the best models from the literature。关联来自两个任意输入或输出位置的信号所需的操作数量随着位置之间的距离而增加，对于ConvS2S是线性的，对于ByteNet是对数的。它们被连接起来，并再次投影，产生最终的值，如图2所示。
[论文阅读] 软件工程 - 供应链 | 从Log4Shell到Go组件漏洞：一篇文看懂开源依赖安全的核心痛点与解决方案
张较瘦
12-05 846
开源库虽加速软件开发，却引入安全漏洞（如Log4Shell）。为探究漏洞分布、持续性及与项目指标的关联，研究开发多语言SCA工具VODA，爬取2013-2023年1042个GitHub项目（49055个版本），生成SBOM并分析。结果显示：多数语言的脆弱依赖为传递依赖，关键漏洞平均持续超1年修复；Go直接依赖占比最高，Java漏洞多在传递依赖；Go/Rust提交数与漏洞数呈中度正相关。该研究数据集较同类更丰富，结论为开发者提供依赖管控依据，强调SBOM与及时更新的重要性，助力提升开源软件供应链安全。
联邦学习数据异构论文
05-01
### 联邦学习中的数据异构性研究 联邦学习是一种分布式机器学习技术，能够在保护用户隐私的同时联合多个节点进行模型训练[^3]。然而，由于参与训练的节点可能来自不同的地理位置、组织或应用场景，其数据来源和特征分布往往存在显著差异，这种现象被称为数据异构性（Statistical Heterogeneity）。数据异构性可能导致全局模型性能下降甚至发生偏差。 #### 数据异构性的定义与影响 数据异构性是指在联邦学习环境中，各客户端的数据分布不符合独立同分布假设（i.i.d. assumption），即不同客户端之间的数据可能存在类别不平衡、样本重叠度低等问题[^1]。这些特性会对联邦学习的效果造成负面影响，具体表现为： - **模型收敛速度变慢**：传统联邦平均算法（FedAvg）在面对非独立同分布（Non-IID）数据时，可能会因为局部最优解的存在而导致整体收敛效率降低[^4]。 - **模型泛化能力减弱**：如果某些类别的数据仅存在于部分客户端，则全局模型对该类别的预测准确性可能大幅下降[^2]。 #### 解决数据异构性的方法概述 为了缓解数据异构性带来的问题，研究人员提出了多种改进策略，主要包括以下几个方面： 1. **优化本地更新过程** 部分工作通过调整本地目标函数的形式来增强对 Non-IID 数据的适应能力。例如，FedProx 方法引入了一个额外的正则化项，用于约束本地模型参数偏离全局模型的程度，从而减少因数据分布差异引起的震荡效应[^4]。 2. **设计新型聚合机制** 另一种思路是从全局视角出发重新定义模型融合方式。Virtual Homogeneity Learning 是一项最新研究成果，它尝试构建虚拟均质空间使得原本高度异质化的个体贡献变得相对一致，最终达到改善测试表现的目的[^5]。 3. **采用元学习框架** 利用元学习的思想可以快速适配新任务并捕捉跨域规律，这对于应对复杂多样的实际场景尤为适用。尽管目前该方向尚处于探索阶段，但仍展现出巨大潜力值得进一步挖掘。 以下是几篇针对联邦学习中数据异构性展开深入探讨的经典文献推荐供参考： ```plaintext [1] McMahan H B, Moore E, Ramage D, et al. Communication-efficient learning of deep networks from decentralized data[J]. arXiv preprint arXiv:1602.05629, 2016. [2] Li T, Sahu A K, Zaheer M, et al. Federated optimization in heterogeneous networks[M]//Proceedings of MLSys'20 Workshop on Distributed and Private Machine Learning. 2020. [3] Smith V, Chiang M, Sanjabi M, et al. Federated multi-task learning[C]//Advances in Neural Information Processing Systems. 2017. [4] Reddi S J, Charles Z, Zaheer M, et al. On the convergence of fedavg on non-iid data[C]//International Conference on Learning Representations. 2020. [5] Tang Z, Zhang Y, Shi S, et al. Virtual homogeneity learning: Defending against data heterogeneity in federated learning[C]//International Conference on Machine Learning. PMLR, 2022: 21111-21132. ``` ### 示例代码片段展示如何模拟 Non-IID 数据环境 下面提供了一段 Python 实现代码用来生成简单的分类任务下具有不同程度标签分离特性的合成数据集。 ```python import numpy as np from sklearn.datasets import make_classification def generate_non_iid_data(num_clients=10, num_classes=5, alpha=0.5): """ Generate synthetic classification dataset with varying levels of label skew. Parameters: num_clients (int): Number of clients to distribute data among. num_classes (int): Total number of classes present within entire population. alpha (float): Dirichlet distribution concentration parameter controlling degree of imbalance between partitions. Returns: dict: Dictionary mapping each client ID to their respective training samples & labels. """ X, y = make_classification(n_samples=500 * num_clients, n_features=20, n_informative=num_classes, n_redundant=0, n_clusters_per_class=1, weights=None, flip_y=0., class_sep=1.) # Split global indices into per-client shards via dirichlet sampling over one-hot encoded targets proportions = [] for i in range(num_clients): proportion = np.random.dirichlet(np.repeat(alpha, num_classes)) proportions.append(proportion) cumulative_proportions = np.cumsum([p / sum(p) for p in proportions], axis=-1).tolist() partitioned_indices = [[] for _ in range(num_clients)] sorted_idx = np.argsort(y) current_client_id = 0 start_index = 0 while True: end_index = next((idx for idx,val in enumerate(cumulative_proportions[current_client_id]) if val >= ((sorted_idx-start_index)/len(sorted_idx))[start_index]), None) if not end_index: break selected_sample_ids = list(range(start_index,end_index)) partitioned_indices[current_client_id].extend(selected_sample_ids) current_client_id +=1 if current_client_id>=num_clients: break start_index=end_index result_dict={f"Client_{cid}": {"data":X[idx],"labels":y[idx]} for cid,idx in zip(range(len(partitioned_indices)),partitioned_indices)} return result_dict if __name__ == "__main__": generated_datasets = generate_non_iid_data() print({k:v["labels"].shape for k,v in generated_datasets.items()}) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值