【全同态加密神经网络】（二） HEAR

一、前言

论文[1] 提出了一种支持全同态加密的卷积神经网络架构，该架构为低深度电路和低阶激活函数专门设计。基于该框架，论文提出了HEAR（Homomorphically Encrypted Action Recognition）模型，具备可扩展且低延迟的特点，可以作为云外包任务进行安全的CNN 模型推理，并且不会牺牲推理的准确性。此外，论文还提出了同态卷积操作的数学公式，并提出了一种有效的评估策略，以在单指令多数据（SIMD）的方式下利用打包密文的并行计算。我们使用密文打包技术，在整个评估过程中将层的多个节点表示为相同的密文，同时保持张量的行主序（row-major）布局。这种安全模型推理解决方案避免了在加密过程中数据切换的复杂性。此外，密集使用空间和SIMD计算可以显著加速模型推理，并大幅减少内存使用。

二、模型介绍

以下基于命令fhear 2 16 0 608 128 baby giant giant 介绍HEAR模型以及分析源码。

HEAR 相较于LoLa 而言，主要区别在于卷积层的数据打包与计算方式，池化层与全连接层的密态计算别无二致。

第一层卷积

数据打包方式不一样，HEAR 在对每行数据末尾填充0，单张图片打包成3216 矩阵，然后转换成3216 待加密向量。而LoLa 的数据打包方式是输入数据置换后 3215 矩阵，填充32 个0，最终组成3216 的待加密向量。所以在计算索引时，二者有所区别。

对于单输入通道的输入张量而言，卷积层