SecFormer: Towards Fast and Accurate Privacy-Preserving Inference for Large Language Models

本文是LLM系列文章，针对《SecFormer: Towards Fast and Accurate Privacy-Preserving Inference for Large Language Models》的翻译。

摘要

随着云平台上托管的大型语言模型越来越多地用于提供推理服务，隐私问题也在升级，尤其是涉及投资计划和银行账户详细信息等敏感数据。安全多方计算（SMPC）是一种很有前途的保护推理数据和模型参数隐私的解决方案。然而，SMPC在大型语言模型的隐私保护推理（PPI）中的应用，特别是那些基于Transformer架构的模型，往往会导致性能显著下降。这在很大程度上是由于Transformer架构中的大量非线性操作，这些操作不太适合SMPC，并且难以有效规避或优化。为了解决这一问题，我们引入了一种名为SecFormer的高级优化框架，以实现Transformer模型的快速准确PPI。通过实现模型设计优化，我们成功地消除了PPI中的高成本指数运算和最大运算，而不牺牲模型性能。此外，我们还开发了一套高效的SMPC协议，利用分段多项式、傅立叶级数和Goldschmidt方法来处理PPI中的其他复杂非线性函数，如GeLU、LayerNorm和Softmax。我们的大量实验表明，SecFormer的性能优于MPCFormer，提高了5.6%BERTBASE和BERTLARGE分别为24.2%和24.2%。就效率而言，SecFormer的BERTBASE和BERTLARGE分别比Puma快3.56和3.58倍，证明了其有效性和速度。

1 引言

2 背景

3 相关工作

4 方法

5 实验

6 结论</