JailbreakLens: Visual Analysis of Jailbreak Attacks Against Large Language Models

本文是LLM系列文章，针对《JailbreakLens: Visual Analysis of Jailbreak Attacks Against Large Language Models》的翻译。

摘要

大型语言模型（LLM）的激增突显了人们对其安全漏洞的担忧，特别是对越狱攻击的担忧，在越狱攻击中，对手设计越狱提示来规避潜在滥用的安全机制。解决这些问题需要对越狱提示进行全面分析，以评估LLM的防御能力并找出潜在的弱点。然而，评估越狱性能和理解提示特征的复杂性使得这种分析很费力。我们与领域专家合作，描述问题特征，并提出一个LLM辅助框架，以简化分析过程。它提供自动越狱评估，以方便性能评估，并支持对提示中的组件和关键字进行分析。基于该框架，我们设计了JailbreakLens，这是一个可视化分析系统，使用户能够根据目标模型探索越狱性能，对提示特征进行多层次分析，并细化提示实例以验证结果。通过案例研究、技术评估和专家访谈，我们展示了我们的系统在帮助用户评估模型安全性和识别模型弱点方面的有效性。

1 引言

2 相关工作

3 问题表征

4 分析框架

</