【论文阅读】Refuse Whenever You Feel Unsafe: IMPROVING SAFETY IN LLMS VIA DECOUPLED REFUSAL TRAINING

最新推荐文章于 2025-12-02 22:36:09 发布
原创 最新推荐文章于 2025-12-02 22:36:09 发布 · 472 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #人工智能 #自然语言处理

论文：Refuse Whenever You Feel Unsafe: IMPROVING SAFETY IN LLMS VIA DECOUPLED REFUSAL TRAINING

作者：Youliang Yuan1,2,4∗ Wenxiang Jiao2 Wenxuan Wang2,3∗ Jen-tse Huang2,3∗ Jiahao Xu2 Tian Liang2 Pinjia He1,4† Zhaopeng Tu2

1School of Data Science, The Chinese University of Hong Kong, Shenzhen, China 2Tencent AI Lab 3The Chinese University of Hong Kong 4Shenzhen Research Institute of Big Data, China

摘要

这项研究通过识别和解决安全调优数据中的拒绝位置偏差，解决了大型语言模型 (LLM) 安全调优实践中的一个关键差距，该偏差损害了模型适当拒绝生成不安全内容的能力。我们引入了一种新颖的方法，即解耦拒绝培训（DeRTa），旨在使LLM能够在任何响应位置拒绝遵守有害提示，从而显着增强他们的安全能力。 DeRTa 包含两个新颖的组件：(1) 带有有害响应前缀的最大似然估计 (MLE)，它通过在安全响应的开头附加一段有害响应来训练模型识别和避免不安全内容，以及 (2) 强化过渡优化 (RTO)，使模型能够在整个有害响应序列中始终如一地从潜在危害过渡到安全拒绝。我们在六种攻击场景中使用LLaMA3和Mistral模型族进行的实证评估表明，我们的方法不仅在不影响性能的情况下提高了模型安全性，而且在防御攻击方面也超越了GPT-4等知名模型。重要的是，我们的方法成功地防御了最近突破GPT-4和LLaMA3-70B-Instruc的先进攻击方法（CodeAttack）

方法

作者发现，现有的大模型在被越狱提示词攻击时，如果拒绝响应越狱攻击往往会在第一个token上输出拒绝性的词语，这种格式在多个不同的大模型上都是类似且固定的，（1）作者认为让模型在一开始就拒绝回答会出现缺乏提示内容相关的知识而响应回答

最低0.47元/天 解锁文章
Devil Like
关注
Kubernetes kubectl命令出现错误【The connection to the server localhost:8080 was refused - did you specif
专注基础架构领域
10-23 3467
接着再运行kubectl命令就OK了。
论文阅读： 2024 ICLR AutoDAN: Generating Stealthy Jailbreak Prompts on Aligned Large Language Models
CSPhD-winston的博客
04-29 924
AutoDAN: Generating Stealthy Jailbreak Prompts on Aligned Large Language Models这篇论文名为“AUTODAN: GENERATING STEALTHY JAILBREAK PROMPTS ON ALIGNED LARGE LANGUAGE MODELS”，主要研究大语言模型（LLMs）的越狱攻击问题，提出了一种名为AutoDAN的新方法，能自动生成隐蔽的越狱提示，具体内容如下：
【大模型安全】Refuse Whenever You Feel Unsafe: IMPROVING SAFETY IN LLMS VIA DECOUPLED REFUSAL TRAINING
skysys的研究小屋
01-06 1296
本研究针对大型语言模型（LLMs）安全调优实践中的关键差距，通过识别和解决安全调优数据中的 refusal position bias，该偏差损害了模型拒绝生成不安全内容的能力。我们引入了一种新颖的方法，解耦拒绝训练（DeRTa），旨在使 LLMs 能够在任何响应位置拒绝有害提示，显著提高其安全性。DeRTa 包含两个新颖组件：（1）带有有害响应前缀的最大似然估计（MLE），通过在安全响应的开头添加一段有害响应来训练模型识别和避免不安全内容；
AI系统安全性和可观测性：高风险领域的关键考量
AI_Conf的博客
07-23 769
大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。
探索人工智能安全的新边界：Awesome LLM-Safety 开源项目
gitblog_00006的博客
06-02 568
探索人工智能安全的新边界：Awesome LLM-Safety 开源项目 在这个数字化的时代，自然语言处理（NLP）和大型语言模型（LLMs）已成为推动智能服务发展的核心力量。然而，随着这些技术的进步，关于模型的安全性和隐私问题也日益凸显。为了帮助开发者、研究者和行业专家更好地理解和应对这些问题，Awesome LLM-Safety 库应运而生，这是一份详尽的资源集合，专为探讨大模型安全领域提供一...
LLMs之o3：《Deliberative Alignment: Reasoning Enables Safer Language Models》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-26 2471
​ LLMs之：《Deliberative Alignment: Reasoning Enables Safer Language Models》翻译与解读 目录 《Deliberative Alignment: Reasoning Enables Safer Language Models》翻译与解读 Abstract 1 Introduction 6 Discussion 《Deliberative Alignment: Reasoning
LLMs之InstructGPT：《Training language models to follow instructions with human feedback》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-03 5862
​ LLMs之InstructGPT：《Training language models to follow instructions with human feedback》翻译与解读 目录 《Training language models to follow instructions with human feedback》翻译与解读 Abstract 1、Introduction引言 2、Related work相关工作 3、Methods a
LLMs之DeepSeek-R1：《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-23 9168
​ LLMs之DeepSeek：《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》翻译与解读 目录 《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》翻译与解读 Abstract 1、Introduction
LLMs之RL之CoT：《Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation》翻译与解
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-07 2499
​ LLMs之RL之CoT：《Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation》翻译与解读 目录 《Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation》翻译与解读 Abstract 1、Introduction Conclus
【论文阅读】DeepSeek-R1：通过强化学习激励LLMs的推理能力 | DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
AI天才研究院
02-07 1436
目录DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-R1：通过强化学习激励LLMs的推理能力Abstract 摘要1 Introduction 1 简介1.1Contributions 1.1 贡献Post-Training: Large-Scale Reinforcement Learning on the Base Model训练后：基于基础模型的大规模强化学习Di
project-refuse-deleter-air:开源实用程序“ Kas Delete-kun”的开发存储库
05-02
该应用程序可一次删除由操作系统和文件管理系统创建的不可见文件（通常称为cas文件）。主要在发布和交付用于Web / RIA开发的文件时很有用。 您可以从以下链接下载“ Kasu Delete-kun”的AIR应用程序文件的最新版本。...
论文笔记（一百零六）RynnVLA-002: A Unified Vision-Language-Action and World Model
最新发布
xzs1210652636的博客
12-02 1043
本文提出了RynnVLA-002，一个将视觉-语言-动作(VLA)模型与世界模型相统一的创新框架。该模型通过联合学习环境动态和动作规划，实现了视觉理解与动作生成的相互促进。研究采用了混合架构设计，结合离散联合建模和连续的Action Transformer头，有效解决了自回归动作生成中的错误累积问题，提升了泛化能力和推理速度。实验结果表明，在LIBERO仿真基准上，RynnVLA-002取得了97.4%的成功率；在真实机器人任务中，其集成的世界模型使整体成功率提升了50%，显著优于单独的VLA或世界模型。
【论文笔记】​嵌套学习 Nested Learning: The Illusion of Deep Learning Architectures​
心宝的博客
11-29 147
本文提出了一种称为"嵌套学习"的新学习范式，将机器学习模型视为一组嵌套的多层优化问题。该框架揭示了现有深度学习方法通过压缩自身上下文流来学习数据的本质，并解释了大模型中上下文学习能力的涌现。核心贡献包括：(1) 将优化器重新解释为关联记忆模块，提出了深度优化器；(2) 开发了自修改序列模型，通过学习自身更新算法实现自我改进；(3) 提出连续统记忆系统，超越了传统长短期记忆的局限。实验表明，结合这些创新的HOPE架构在语言建模、持续学习和长上下文推理任务中表现优异。嵌套学习为深度学习提供了
[论文阅读] AI + 软件工程 | 首测GPT-4.1/Claude Sonnet 4适配能力：LLM多智能体在SE领域的潜力与局限
张较瘦
11-30 1078
本文开展首个关于LLM-based多智能体系统在软件工程（SE）数据集适配任务的实证研究。为实现SE研究工件跨数据集的自动化适配（提升可扩展性与可复现性），以搭载GPT-4.1和Claude Sonnet 4的GitHub Copilot为研究对象，针对ROCODE、LogHub2.0等基准仓库，设计五阶段评估流程（文件理解、代码编辑、命令生成、验证、最终执行），衡量成功率、分析失败模式，并验证提示干预效果。结果表明：当前系统可识别关键文件、生成部分适配代码，但极少产出功能正确的实现；而“提供执行错误信息”
论文阅读《Audit Games with Multiple Defender Resources》
m0_67450301的博客
12-02 817
参数图。
通感一体化(ISAC)波形设计的实验验证研究——论文阅读
DuHz的博客
11-30 1152
本文提出了一种通感一体化(ISAC)波形设计方法，通过实验验证了在相同时间、频率和空间资源下同时实现雷达感知与多用户MIMO-OFDM通信的可行性。研究采用权衡因子γ平衡通信性能（通过最小化多用户干扰）与雷达性能（逼近理想雷达波形），建立了优化模型并构建了原型测试平台。实验结果表明，该方法能够在不牺牲通信质量（星座图、误码率）的前提下实现有效的雷达感知功能，为未来6G通信系统的双功能波形设计提供了实际验证。
Contrastive pseudo learning for openworld deepfake attribution 超细致论文笔记，第一次读论文
weixin_72953218的博客
11-30 1026
早期方法侧重 GAN 生成图像，忽略了 “身份替换 / 表情迁移” 这类更逼真、威胁性更强的伪造攻击；：大多基于封闭场景设计 —— 训练集与测试集的类别分布一致（训练时见过的类型，测试时才需要判断，无新类型），无法适配 “开放世界”（测试时会出现训练未见过的伪造类型）；：真实场景中标注的伪造人脸数据少，但未标注数据多，传统监督学习难以利用海量未标注数据。现有方法的局部性:现有方法主要关注样本的全局相似性，忽略了可能表明篡改的伪造人脸图像的局部一致性，解决方法 - 全局和局部特征。
论文笔记（一百零五）A review of learning-based dynamics models for robotic manipulation
xzs1210652636的博客
12-01 776
本文综述了基于学习的动力学模型在机器人操作中的应用与发展。传统基于物理的动力学模型虽具泛化性，但依赖完整状态信息，而复杂场景中此类信息难以准确获取。学习型模型直接从观测数据中学习状态转移函数，能够捕捉复杂因素与不确定性，并加速实时仿真。研究显示，这些模型显著提升了机器人处理可变形物体、颗粒材料及多物体交互任务的能力。文章重点探讨了状态表示的选择对模型性能的影响，分析了不同模型结构的权衡，并讨论了其与状态估计和控制方法的结合。最后指出了该领域未来的研究方向与挑战。
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习与集成方法：组合多个学习器来提高整体性能
hiliang521的博客
12-02 788
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习
0: reserved 1: LBC refuse to sleep 2: LBC ready to sleep
11-05
| `1` | **LBC refuse to sleep（拒绝休眠）**：表示电池控制器不允许系统进入休眠状态，通常因为系统仍在运行、充电中或有通信活动 | | `2` | **LBC ready to sleep（准备休眠）**：表示电池控制器已准备好进入休眠...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值