探究大语言模型（LLM）漏洞和安全优秀实践

你可能已听说过LLM强势亮相，至少ChatGPT就是代表。

大语言模型(LLM)指语言处理模型。这类模型经过训练，可以执行各种各样的语言任务：翻译、文本生成和问题回答等。

有几个LLM家族和架构，最著名的是GPT(生成式预训练Transformer)。每种 LLM都有各自的特定功能，但本文侧重介绍LLM普遍固有的安全问题。

随着越来越多的公司集成LLM以增强用户体验或简化和加速内部流程，这种类型的集成特有的新漏洞随之出现。

我们在本文中将介绍与LLM集成相关的最常见漏洞、它们的影响以及为防止它们而采取的预防措施。我们还将给出在Web渗透测试期间利用漏洞的例子。

LLM应用程序中最常见的漏洞是什么以及如何防止它们?

• 与集成第三方LLM相关的漏洞

到目前为止，将LLM功能集成到企业或网站中最简单、最广泛的方法是使用ChatGPT等会话代理的API。

比如在网站中使用该API，网站创建者可以集成帮助聊天机器人、文本或图像生成器，用户可以在预定义的上下文中使用这些生成器。

至少在理论上是这样!LLM的不可预测性和“自主”性使得用户“控制上下文”和确保功能只允许用户执行良性的“预定义操作”变得极其复杂。

提示注入

第一个风险途径可能最普遍，对应于用户直接或间接控制发送给LLM的“提示”的情况。

如果没有正确清理这些提示，LLM可能会生成与定义的初始框架不对应的内容。

比如说，使用这种技术，恶意用户可以诱导LLM泄露初始化LLM时使用的上下文要素，可能包含敏感信息。

防范这类攻击是一个很难完全克服的真正