LLM Agents can Autonomously Hack Websites 论文阅读

paper:LLM Agents can Autonomously Hack Websites

abstract:近年来，大型语言模型（llm）已经变得越来越有能力，现在可以与工具交互（例如，调用函数），读取文档，并递归地调用自己。因此，这些llm现在可以作为代理自主运行。随着这些代理能力的提高，最近的工作推测了LLM代理将如何影响网络安全。然而，人们对LLM代理的攻击能力知之甚少。在这项工作中，我们展示了LLM代理可以自主入侵网站，在没有人类反馈的情况下执行像盲目数据库模式提取和SQL注入这样复杂的任务。重要的是，代理不需要事先知道漏洞。这种能力是由具有高度工具使用能力和利用扩展上下文能力的前沿模型唯一支持的。也就是说，我们表明GPT-4有能力进行这样的黑客攻击，但现有的开源模型没有。最后，我们展示了GPT-4能够自主地在网站中发现漏洞。我们的发现提出了法学硕士广泛部署的问题。

1.Introduction

大型语言模型（llm）已经变得越来越强大，最近的进展允许llm通过函数调用、读取文档和递归提示自己与工具交互(Yao等人，2022；Shinn等，2023；Wei et al ., 2022b)。总的来说，这些允许llm作为代理自主运行（Xi et al, 2023）。例如，LLM代理可以帮助科学发现(Bran et al, 2023；Boiko et al, 2023)。随着这些LLM代理的能力越来越强，最近的研究推测了LLM和LLM代理在网络安全攻防方面的潜力(Lohn & Jackson，2022;Handa et al, 2019)。尽管有这种猜测，但人们对LLM代理在网络安全方面的能力知之甚少。
例如，最近的工作表明，llm可以被提示生成简单的恶意软件（Pa Pa et al, 2023），但尚未探索自主代理。在这项工作中，我们展示了LLM代理可以自主地入侵网站，执行复杂的任务，而无需事先了解漏洞。例如，这些代理可以执行复杂的SQL联合攻击，这涉及提取数据库模式的多步骤过程（38个操作），根据该模式从数据库中提取信息，并执行最终的攻击。我们最有能力的代理可以破解我们测试的73.3%（15个漏洞中的11个，通过5）的漏洞，显示了这些代理的能力。重要的是，我们的LLM代理能够在现实世界的网站中发现漏洞。
为了赋予这些LLM代理自主入侵网站的能力，我们赋予代理读取文档、调用函数来操作web浏览器和检索结果以及访问先前操作的上下文的能力。我们进一步向LLM代理提供详细的系统说明。这些功能现在在标准API中广泛可用，例如新发布的OpenAI助手API （OpenAI, 2023）。因此，使用标准工具只需85行代码就可以实现这些功能。我们在图1中展示了代理的示意图。我们表明，这些功能使撰写本文时最强大的模型（GPT-4）能够自主入侵网站。令人难以置信的是，GPT-4可以在事先不知道特定漏洞的情况下执行这些攻击。所有组件都是高性能所必需的移除组件时成功率下降到13%。我们进一步表明，黑客网站具有很强的缩放规律，即使GPT-3.5的成功率也下降到6.7%（15个漏洞中有1个）。这个缩放定律适用于开源模型，我们测试的每个开源模型的成功率都是0%。我们进一步分析了自主入侵网站的成本。如果将失败算入总成本，那么试图入侵一个网站的成本约为9.81美元。尽管成本昂贵，但这种成本可能比人工成本低得多（人工成本可能高达80美元）。在手稿的其余部分，我们描述了如何使用LLM代理自主入侵网站和我们的实验结果。

2. Overview of LLM Agents and Web Security LLM代理和Web安全概述

在讨论我们使用LLM代理自主入侵网站的方法之前，我们首先提供了LLM代理的概述和网络安全的要点。

2.1. LLM Agents LLM代理

尽管对LLM代理的正式定义尚未达成一致，但它们被描述为“可以使用LLM对问题进行推理，制定解决问题的计划，并在一套工具的帮助下执行计划的系统”（Varshney, 2023）。出于我们的目的，我们对他们解决任务的能力特别感兴趣。LLM代理最关键的功能之一是与工具和api交互的能力(Yao等人，2022；Schick et al, 2023；Mialon等人，2023)。这种能力使LLM能够自主地采取行动。否则，其他参与者（例如，人）将需要执行操作并将响应作为上下文进行反馈。llm与工具交互的方式有很多，其中一些是专有的（例如OpenAI的）。LLM代理的另一个关键组成部分是计划和响应工具/ api输出的能力(Yao等人，2022；Varshney, 2023)。这种计划/反应可以简单到将工具/ api的输出反馈给模型作为进一步的上下文。还提出了其他更复杂的规划方法。最后，LLM代理的一个有用组件是读取文档的能力（与检索增强生成密切相关）（Lewis et al, 2020）。这可以鼓励代理专注于相关主题。LLM代理还有许多其他功能，例如内存(Shinn等人，2023；Var