论文学习笔记 MUSE: Secure Inference Resilient to Malicious Clients

一、背景介绍—神经网络推理

这篇论文在2021年被USENIX接收，文章具体连接。

现如今越来越多的应用程序在用户交互中使用神经网络推理，如家庭监控（检测和识别访客）和婴儿监控（监测婴儿行为来及时通知家长）。在神经网络推理中，用户将自己的数据$x$输入服务器端的模型$M$中得到最终的预测输出$M(x)$，如下图所示。

然而在实际推理场景中，用户的输入$x$和服务器的模型$M$都是敏感的，所以安全的推理过程要求
1）服务器不会学习到关于$x$的任何信息；
2）用户不会学习到关于$M$的任何信息。
为了实现安全的神经网络推理，大量的研究致力于两方安全协议的研究，提出两方的安全推理方案，如Delphi等。这些方案考虑的是半诚实模型semi-honest。在这种模型中，用户和服务器双方都诚实地遵循协议，并试图从公开的信息中恢复出对方的秘密信息如$x$或$M$。MUSE的第一个贡献便是揭露了，在半诚实的推理过程中恶意的用户可以恢复出服务器的模型信息（模型参数/权重）。第二个贡献便是在客户端恶意的模型中提出了安全的推理协议。贡献contributions概括如下：

1. 一种针对在半诚实模型下安全推理协议的模型提取攻击（model-extraction attack）；
2. 提出了MUSE：一个高效的在客户端恶意（client-malicious）模型下安全推断协议。

二、在半诚实模型下的模型提取攻击

首先介绍下什么是模型提取攻击。这是一种用户通过与服务器多次交互构造出一个与模型$M$几乎相等的模型$M^{\prime }$的攻击。更具体地，下面我们详细描述这篇论文提出的模型提取攻击是针对什么样的模型（模型结构）和什么样的半诚实安全推理协议。

2.1 模型结构

神经网络的结构如下所示，包含输入层和输出层，以及中间相互交替的线性和非线性层。

用数学符号可以表示为
$$M(x)=NN(x)=M_l(ReLU(\cdots M_2(ReLU(M_1(x)))))，$$
其中$M_i$为每个线性层的模型权重，