智能芯片_光电融合的三维集成人工智能视觉芯片

来源：文章转载自期刊《微纳电子与智能制造》，作者：冯鹏，刘力源，吴南健，谢谢。

摘要

使用硅通孔技术将图像传感、处理和存储芯片以垂直堆叠的方式进行连接，可实现更加先进的光电融合三维集成人工智能视觉芯片。介绍了与三维集成视觉芯片相关的研究进展，包括超高速成像、三维成像和宽光谱太赫兹成像等超越人类视觉水平的图像传感技术，基于仿生机理的高能效视觉处理芯片以及三维集成视觉芯片相关技术。

引言

视觉是人类最重要的信息获取途径 ，视觉信息占人脑获取信息总量的80%以上，而随着各种图像传感技术的发展，据统计，2012年图像和视频数据占数据总量的比例已达到了80%。视觉图像的采集 、传输、处理和存储已成为人工智能和大数据技术应用的基础。然而，在传统的图像系统中，图像的采集和处理在硬件上是分离的，这一方面将导致图像数据传输速度瓶颈，使得系统很难满足高速实时图像处理的应用需求；另一方面将导致系统的体积和功耗过大，限制其应用场景。为了突破传统图像系统面临的上述瓶颈 ，早在上世纪九十年代，美国加州理工学院的Mead和日本东京大学的石川正俊等就提出了视觉芯片的概念。视觉芯片是一种模仿人类视觉功能 ，集高速图像采集、并行图像传输和并行图像处理能力于一体的数模混合系统级半导体芯片。视觉芯片的典型应用场景如图 1所示 ，其在机器人 、自动驾驶 、智能监控、目标跟踪等领域都有非常重要的应用价值。经过二十多年的快速发展 ，视觉芯片架构目前已发展到了第三代。

图1. 视觉芯片的典型应用场景

第一代视觉芯片采用全像素并行架构，处理器以单指令多数据(SIMD)方式工作，因此有并行度高、处理速度快的优点，但主要缺点是像素填充因子小，分辨率难以大幅提升，难以实现广域图像处理的功能。

第二代视觉芯片采用像素阵列和处理单元电路分离的架构，分辨率得以大幅提升，而其中处理电路包括二维像素级处理阵列(PE阵列)和一维行并行处理器阵列(RP 阵列)。其中 PE 阵列与第一代视觉芯片中的并行PE阵列功能类似 ，而RP阵列由计算能力较强的处理器构成 ，可以完成广域图像处理的功能。这种视觉芯片的缺点是不能快速完成图像分类等算法，在处理图像识别任务时实时性较差。

第三代视觉芯片在第二代视觉芯片的基础上引入了人工神经网络或卷积神经网络来加速分类的算法。这种视觉芯片可以快速完成地平线检测、手势识别、指尖追踪和人脸识别等多种复杂的图像识别任务。

然而，上述视觉芯片存在的问题是视觉传感器和图像处理电路均采用相同的工艺以二维集成的方式实现。由于芯片通常需要采用图像传感器工艺实现，受到工艺的限制，其图像处理能力难以大幅提升。此外，随着视觉芯片应用领域的逐渐拓展，采用二维集成的视觉芯片还面临芯片面积大、功耗高、处理速度提升有限的瓶颈。因此，三维集成的视觉芯片已成为发展的必然趋势。三维集成视觉芯片利用硅通孔技术(through silicon via, TSV)将图像传感、处理和存储芯片以垂直堆叠的方式实现连接，有望实现超越人类视觉，具有高速、小体积和低功耗特点的光电融合人工智能视觉芯片。本文将首先介绍超高速成像、三维成像和宽光谱太赫兹成像等超越人类视觉水平的图像传感技术；然后介绍基于仿生机理的高能效视觉处理芯片；最后介绍三维集成视觉芯片相关研究进展。

超越人类视觉的图像传感技术

在视觉芯片中，视觉传感器负责图像信息的采集，是视觉芯片功能实现的基础。为了实现超越人类视觉水平的视觉芯片，首先需要实现具有超越人类视觉功能的图像传感器。目前 ，超高速视觉图像传感器、三维成像视觉传感器以及宽光谱视觉传感器是3种比较典型的具有超越人类视觉特点的传感器，也是当前的研究热点。

1.超高速CMOS视觉传感器

在科学及工程的先进研究领域，对燃烧、材料断裂及静电击穿等高速现象进行观测已成为迫切的需求。为了能够有效观测到这些现象 ÿ