SafeDecoding：项目的核心功能/场景

SafeDecoding：项目的核心功能/场景

SafeDecoding Official Repository for ACL 2024 Paper SafeDecoding: Defending against Jailbreak Attacks via Safety-Aware Decoding 项目地址: https://gitcode.com/gh_mirrors/sa/SafeDecoding

防御LLM模型 jailbreak 攻击的安全感知解码策略

项目介绍

SafeDecoding 是一种针对大型语言模型（LLM）的安全感知解码策略，旨在通过生成对用户查询的有帮助且无害的响应，有效防御 jailbreak 攻击。随着 LLM 在代码生成、聊天机器人辅助等现实世界应用中的深入集成，确保其行为符合人类价值观，特别是安全性，变得至关重要。SafeDecoding 的核心思想在于，尽管代表有害内容的标记的概率可能超过代表无害响应的概率，但在按概率降序排列的标记中，安全免责声明仍然出现在顶部标记中。利用这一观察结果，项目通过识别安全免责声明并放大其标记概率，同时降低与 jailbreak 攻击目标对齐的标记序列的概率，从而减轻 jailbreak 攻击。

项目技术分析

SafeDecoding 采用了先进的安全感知解码策略，其技术核心是利用概率排序的标记序列来识别和强化安全免责声明。项目支持多种大型语言模型，如 vicuna、llama2、guanaco、falcon 和 dolphin，并提供了与这些模型配合使用的攻击数据集和基准数据集。技术实现方面，项目使用 Python 语言，依赖于多种开源库，如 PEFT、llm-attacks、BPE-Dropout 和 lmppl，以实现模型的微调和评估。

项目的技术亮点包括：

1. 模型微调：通过微调专家模型，增强对有害内容的识别和过滤能力。
2. 多种防御策略：除了 SafeDecoding，还支持其他六种基准防御策略，如 PPL、Self-Examination、Paraphrase、Retokenization、Self-Reminder 和 ICD。
3. 自定义数据集支持：用户可以自定义攻击数据集，以适应特定的应用场景。

项目及技术应用场景

SafeDecoding 的应用场景广泛，特别适用于以下领域：

1. 聊天机器人：在聊天机器人中应用 SafeDecoding，可以防止用户通过精心设计的输入诱使模型生成有害或不当的响应。
2. 代码生成：在代码生成工具中应用该项目，可以避免生成含有安全风险的代码。
3. 信息检索：在信息检索系统中，SafeDecoding 可以帮助过滤掉包含有害信息的搜索结果。

项目特点

1. 高度通用性：SafeDecoding 支持多种大型语言模型，且可以轻松集成到现有的 LLM 应用中。
2. 灵活性：用户可以根据需要自定义攻击数据集，使得项目能够适应多种安全场景。
3. 易于评估：项目提供了方便的评估工具，用户可以通过简单的命令行操作评估不同防御策略的效果。
4. 开源自由：遵循 MIT 开源协议，用户可以自由使用、修改和分发该项目。

SafeDecoding 的推出，为大型语言模型的安全性提供了有力的技术支持，有望在多个领域推动安全感知解码策略的应用和发展。

SafeDecoding Official Repository for ACL 2024 Paper SafeDecoding: Defending against Jailbreak Attacks via Safety-Aware Decoding 项目地址: https://gitcode.com/gh_mirrors/sa/SafeDecoding