个人学习记录：Fourier-space Diffractive Deep Neural Network

傅立叶空间衍射深度神经网络

Abstract：  

        在本文中，我们提出了一种用于全光学图像处理的傅立叶空间衍射深度神经网络(F-D²NN)，该网络以光速执行高级计算机视觉任务。F-D²NN是通过在光学系统的傅里叶平面或傅里叶和成像平面上放置极其紧凑的衍射调制层来实现的，其中光学非线性由铁电薄膜引入。我们证明了F-D²NN可以用深度学习算法训练，可用于异域显著性检测和高精度对象分类。

Introduction

（1）光计算具有低功耗、光速处理和高通量能力，具有作为高性能计算重要支持的内在潜力。

（2）引入衍射深度神经网络(D²NN)的全光学机器学习框架，用于执行光速分类和高分辨率成像。然而，它只能在真实空间中运行，并且在处理更高级的计算机视觉任务方面能力有限。

（3）本文提出了傅里叶空间D²NN (F-D²NN)，并证明了其在显著性目标检测中的成功应用。此外，我们进行了各种数值评估，并表明通过在傅里叶空间中训练D²NN并包括光学非线性，D²NN的分类精度和鲁棒性显著提高。

Method

（1）非线性激活函数：采用一种特定类型的铁电薄膜，即光折变晶体(SBN:60)作为光学非线性层，并以不同的系统配置将非线性层物理合并。

（2）网络框架及原理

所提出的傅里叶空间D²NN的框架如图1所示。

图1  基于傅里叶空间衍射深度神经网络(F-D2NN)的显著目标检测

光场输入为U₀，经过2f系统的输出为：

F表示傅里叶变换。

经过光学衍射层的输出为：

 经过非线性层的输出为：

 最终输出的光场为

Result

1

        使用来自测试数据集(500张图像)的细胞类型1以及细胞类型2(250张图像)和细胞类型3(250张图像)对训练好的F-D²NN进行盲测，以评估网络的泛化效果，如图2所示：

 图2  基于F-D2NN的测试图像细胞分割

 结果：

（1）F-D²NN成功地学习了对目标样本(第一行)进行视觉显著性检测(第三行)，并获得了与ground truth(第二行)相当的结果。

（2）显著性检测结果：分割出了细胞，并揭示了它们的形状和位置。

（3）定量评价：我们通过比较测试图像的显著性检测结果与地面真相，计算精度-召回(PR)曲线。对于单元格类型1、2和3，平均PR曲线在三个测试数据集上的最大F值分别为0.613、0.653和0.451。

2、进一步证明F-D²NN在宏观尺度上用于动态自然场景视频显著性检测的通用性

        使用CIFAR-10数据集训练五层F-D²NN后的在线视频序列的测试结果：

图3 基于F-D2NN的视频显著性目标检测

（1）训练后的衍射调制层如图3的最后一行所示，对输入视频序列(第一行)进行逐帧(共240帧)测试，生成显著性视频序列(第三行)。

（2）平均PR曲线上相对于cosaliency检测算法(第二行)的最大F测度为0.726。

（3）结果表明，该方法在动态场景的高速和鲁棒性显著性检测方面具有潜在的应用价值。

3、比较不同配置下的傅里叶空间D²NN和实空间D²NN在显著性检测和目标分类任务中的表现：

图4  比较傅里叶和实空间D2NN的显著性目标检测和目标分类。

（1）我们在CIFAR-10数据集“猫”类别上训练了五层傅里叶和实空间D²NN，并在“马”类别上测试了训练后的模型。

（2）无论是否存在非线性，实空间D²NN由于难以找到空间对应关系而无法完成显著目标检测任务，而F-D²NN通过在实空间D²NN使用的相同数据集上训练和测试，成功地完成了检测[图4(a)]。

（3）非线性F- D²NN在测试数据集上显著性检测的最大F测度为0.641，优于线性配置(0.634)。

（4）对于目标分类任务，我们使用MNIST手写数字数据集定量评估不同D²NN配置并计算分类精度。在傅里叶空间中训练线性D²NN不仅可以减小五层D²NN的厚度(层距从3 mm到100 μm)，而且还可以提高其分类精度(从92.7提高到93.5%)。

Conclusion

（1）证明了F-D²NN可以应用于光速下的高级图像处理和计算机视觉任务。

（2）通过各种数值实验验证了所提出的方法在高精度视觉显著性检测和目标分类方面的有效性。

（3）类似于编码孔径成像技术，如相位对比显微镜，我们的方法可以实现为智能光学滤光片，并适用于不同的成像系统，包括商业显微镜和相机