[论文阅读]What Was Your Prompt? A Remote Keylogging Attack on AI Assistants

What Was Your Prompt? A Remote Keylogging Attack on AI Assistants

http://arxiv.org/abs/2403.09751

研究背景和问题：

（1） 实际应用场景和问题提出

大型语言模型 （LLM） 和基于聊天的 AI 服务（如 ChatGPT）的激增标志着数字领域的重大演变。这些技术不仅吸引了公众的想象力，而且已成为社会各个方面不可或缺的一部分。它们的实用性从回答简单的查询到协助复杂的决策过程，突出了它们的重要性和全球用户对它们的信任。 然而，研究发现，LLM 服务（包括流行的 ChatGPT-4 [1]）处理数据传输的方式存在重大漏洞。LLM 以一系列token（类似于单词）的形式生成和发送响应，每个token在生成时从服务器传输到用户。当此流量被加密时，顺序令牌传输会产生一个新的侧信道：token长度侧信道。尽管进行了加密，但数据包的大小可能会泄露每个token的字符长度，从而可能允许网络上的攻击者推断出私人 AI 助手对话中共享的敏感和机密信息。

攻击者在利用token长度的侧信道时面临的挑战在于，从一系列token长度中准确推断文本的固有复杂性。这种困难主要是因为单个句子中的标记可以对应于大量语法正确的句子。此外，当目标是破译整个段落时，这项任务变得更具挑战性，从而大大增加了潜在的组合和解释。

（2）问题的研究意义

随着 AI 助手的使用变得越来越普遍，与它们共享的敏感性信息也越来越普遍。