【机密计算顶会解读】12：机密提示——保护云LLM推理服务中的用户提示词

导读：本文介绍一种安全分区解码和提示混淆的方法，以高效和可扩展的方式使用CVMs，既能保证提示的机密性，又能同时确保模型机密性、输出不变性和计算效率。

原文链接：Confidential Prompting: Protecting User Prompts from Cloud LLM Providers

Confidential Prompting: Protecting User Prompts from Cloud LLM Providers

一、背景介绍

近年来，大型语言模型（LLM）在自然语言处理任务中取得了显著进展，但由于其规模庞大、计算资源需求高，通常托管在云平台上进行推理服务。这种云托管方式不仅降低了用户部署和维护的成本，还能提供弹性扩展能力，以满足不同应用场景下的计算需求。

然而，这种模式也带来了一些隐私问题。在推理服务中，用户的提示可能包含敏感数据，比如个人身份信息、医疗数据等。论文针对云托管LLM服务中的提示，提出了一种解决方案，以高效和可扩展的方式使用机密虚拟机（CVMs），既能保证提示的机密性，又能同时确保模型机密性、输出不变性和计算效率。