基于树莓派的多光谱成像系统

基于树莓派的便携式多光谱成像系统

摘要

目的：在本研究中，我们提出了一种紧凑型低成本便携式光谱成像系统，用于通用目的。该开发的系统可提供用于基于所捕获图像分析对样品进行快速现场识别和分类的信息。该仪器的连接性使得可在外部计算机上对图像进行更深入的分析。

设计/方法/途径：该系统的波长选择通过LED面板的光复用实现，其中包含8个覆盖从紫外到近红外光谱范围的波长。所使用的图像传感器是由树莓派板控制的 RGB‐IR微型相机，其上已编程一个基本图像处理算法。该系统能够在集成显示屏上显示每个波长（包括紫外线和近红外区域）下的反射率以及图像的直方图。

发现：该原型已通过分析多种应用中的多个样品进行了测试，例如检测受损、过熟和喷洒过的水果，对不同类型的塑料材料进行分类，以及测定水的性质。

创新性/价值：与其他多光谱成像系统相比，所设计的系统具有一些优势，例如成本低且便携。连接到树莓派的相机模块具有低成本和小尺寸的特点，为通用目的提供了一种紧凑型仪器。

关键词 ：多光谱成像，发光二极管，微型相机，树莓派

1. 引言

在本研究中，我们提出了一种用于通用目的的低成本紧凑型多光谱系统，其照明通过发光二极管面板实现，波长范围为385至970纳米。数据采集和处理由商用树莓派板完成，具有尺寸小、便携且低成本等优点。该树莓派板可连接微型相机作为图像传感器，该相机还集成了聚焦光学元件。与其他市场产品相比，该相机模块具有低成本和小尺寸的优势，加之该紧凑型仪器具备高处理能力，使得这一新型系统适用于多种应用。

多光谱和高光谱成像是基于在不同波长区域获取同一图像的分析技术，从而生成成像场景中每个像素的光谱分辨信息（Levenson 等，2006；Wolfe，1997； Salzer 和 Siesler，2014）。在多光谱成像中，图像在若干离散波长处获取，通常在光谱的特定范围内为6到10个或更少（Xing 和 De Baerdemaeker，2005； Huang 等，2015）。而在高光谱方法中，使用大量相邻的波长，通常超过100个，从而获得海量数据（Nansen 等，2008；Geladi 等，2004）。

光谱成像结合了两种方法：光谱学和成像。成像提供图像中每个像素的强度，而典型光谱仪提供单光谱，光谱图像则在每个像素处提供一个光谱，被视为一个信息立方体（Garini 等，2006）。该立方体的数据经过处理（沈等，2007； Goetz，2009；伯恩斯和伯恩斯，1996），其光谱特性可用于区分物体中的光谱差异，进而用于检测样品表面、结构或成分的变化（Xia 等，2016；Zhao 等， 2016）。

光谱成像于1985年首次作为一种遥感技术被提出（Goetz 等，1985）。自那年以来，这种分析技术获得了越来越广泛的认可，其应用领域现已涵盖农业、武装力量、环境、地理、医学、营养等多个领域（Zhao 等，2016）。

光谱成像系统由基本组件构成：照明、聚焦光学元件、探测器和波长选择系统。

波长选择的方法多种多样，决定了系统的设计。在最早的多光谱成像系统中，通过滤波照明并使用单色数字相机收集反射光来实现。或者，可以通过对反射光进行滤波或色散来实现波长选择（Liang，2012）。

在较新的光谱成像系统中，波长选择直接在照明光源中进行，即使用单色光照射样品。为此，采用可编程光源（Tominaga，2012）。近年来，得益于高效发光二极管（LED）的发展，光谱成像中的样品或场景照明正通过使用具有极窄波长光谱的发光二极管来实现（Xia 等，2016；Shrestha 和 Hardeberg，2013； Park 等，2007）。研究发现，与白光相比，发光二极管具有更高的稳定性，因此推荐用于多光谱系统。

传统光谱成像系统是昂贵且精密的实验仪器，因为它们包含复杂的照明光源、光学器件和高分辨率相机（Tominaga和Horiuchi，2012；Kim等人，2010）。此外，还需要外部计算机进行数据处理和系统控制。

本文介绍的仪器利用紧凑且低成本的商用设备解决了这些缺点：采用树莓派板进行控制和图像处理，使用带集成对焦光学器件的微型相机模块进行图像采集，以及一组发光二极管用于照明和波长选择。

2. 系统描述

如上所述，所开发的仪器旨在成为一种基于非昂贵商用设备的低成本便携式系统，可在多种应用中轻松使用。数据处理通过简单的算法实现，这些算法基于相机捕获的光强度检测。以下各节将详细说明该系统。

A. 仪器设计

图1展示了所提出的多光谱成像原型的方案。该仪器的核心是商用平台树莓派3代 B型（树莓派基金会，英国）。它是一种低成本、小尺寸（8.5 × 5.6 cm²）的设备，由于配备了1.2GHz 64位四核ARMv8 Cortex‐A53和1GB内存，具有强大的处理能力，因此适用于图像处理。此外，它支持多种连接协议，如Wi‐Fi 802.11 b/g/n、经典和低功耗蓝牙、USB等，可实现仪器与外部计算机之间的数据传输，以便进一步进行数据处理或存储。

用户界面由一款触摸屏模块Adafruit PiTFT – 320 × 240 2.8”（Adafruit，美国）实现，该模块专为与树莓派平台配合操作而设计。用户可通过该液晶显示屏启动系统操作，并在屏幕上显示结果。配置、交互或图像可视化均无需其他设备。

通过微型相机树莓派NoIR（树莓派基金会）获取样品或场景的图像，该相机是树莓派的RGB相机附加组件，未安装任何红外截止滤光片。此设备基于OV5647传感器（豪威科技，美国），对近紫外、可见光和近红外辐射均敏感，波长可达约 1000纳米。图2显示了该传感器的光谱灵敏度。该微型相机的分辨率为5百万像素，尺寸为2.5 × 2.4毫米²。该设备配备固定焦距镜头，即无需其他对焦系统。然而，样品必须始终放置在与相机相同距离的位置。该设备通过相机串行接口（CSI）总线直接连接到树莓派。使用这种小尺寸且低成本的相机有助于设计紧凑型仪器，从而避免了使用更大且昂贵的用于图像采集的更复杂的相机，正如其他报道的多光谱成像系统中所采用的那样（Xing和 Baerdemaeker，2005；Huang 等，2015）。

样品的照明通过一个LED面板实现，该面板为所使用的八个不同波长中的每一个包含四个发光二极管，总共32个LED。由于本工作的目标是开发一种用于通用目的的便携式多光谱系统，因此所选波长覆盖了NUV‐可见光‐NIR的全范围。选定的波长分别为385纳米、455纳米、525纳米、590纳米、655纳米、700纳米、850纳米和950纳米。尽管此原型中仅提供8个波长，但该数量可以轻松扩展。如前所述，为了获得这些波长，面板中按照特定模式集成了相应的低成本LED。所使用的LED按峰值波长递增顺序依次为型号VAOL‐5EUV8T4（Visual Communications，美国）、L‐53MBC（Kingbright Electronic，台湾）、 C503B‐GAN‐CC0D0782（Cree，美国）、HLMP‐EL08‐VY000（安华高科技，美国）、L07R3000G1EP4（Ledtech Electronics，台湾）、LN29RPX（松下，日本）、TSHG6210（威世科技，美国）和L‐34F3BT（Kingbright Electronic）。这些发光二极管的光谱已通过光谱仪进行表征，得到了图3所示的归一化分布。

发光二极管被放置在环绕微型相机的面板上，如图4所示。每个波长使用四个发光二极管，呈十字形布置，且与中心等距。该方案的主要目的是避免样品在不同波长下交替照明时产生阴影（Moreno等，2006；Jong‐Woei Whang等，2009）。

为了消除发光二极管发出光的方向性，在图1中所示位置放置了一个漫射器。该漫射器由一块简单的半透明塑料制成，中心开有供微型相机使用的孔径。

为了获得稳定的照明，发光二极管通过恒流源进行偏置。偏置电子电路的方案如图5所示。该恒流源设计基于运算放大器型号LT1366（凌力尔特，美国），其可驱动高达30毫安的输出电流。稳压二极管型号LM385‐2.5（德州仪器，美国）用于在负反馈回路中强制产生2.5伏特的电压降。通过此配置，可生成偏置电流Ibias = 5 mA。相同波长的发光二极管串联排列，并同时开启，而其余发光二极管保持未偏置状态。待偏置的LED支路选择通过使用由树莓派通过3个数字输入信号控制的模拟多路复用器型号ADG408（模拟器件公司，美国）。

该仪器的电源可由电池提供，或由连接到市电的交直流转换器提供。整个系统被封装在一个暗箱中，样品置于暗箱内进行分析。对于透明样品的透射‐反射测量，在样品后方放置一个小镜子。

B. 图像处理

当样品置于原型内部相应位置时，系统会依次在每个可用波长下拍摄一张照片。这些图像存储在树莓派的内存中，并进行处理以获得一些与样品性质相关的参数。

光谱成像中的常规分析包括根据所获取的图像，评估样品在相应波长下的反射率（伯恩斯和伯恩斯，1996；沈等，2007）。在其他方法中，则考虑入射光的强度（Kim等人，2010；德绍尔等，1997）。

在本研究中，图像处理在具有足够计算能力的树莓派上进行，使用OpenCV库实现实时处理。已实现了两种分析技术，但也可将任何其他方案添加到代码中。

在第一种技术中，每个波长处的图像通过微型相机收集的反射光强度来表征，其方法类似于将彩色图像转换为亮度图像（刘等，2011）。图像的强度定义为图像中每个像素的个体强度之和，这些强度根据其RGB坐标计算得出（埃斯科韦多等，2016）：

$$
I_{pixel} = \sqrt{R^2 + G^2 + B^2} \rightarrow I_{image} = \sum I_{pixel}
$$

通过在所考虑的光谱范围内评估图像强度 $I_{image}$，可以利用样品的反射率来表征该样品，而此参数在特定波长处的变化可能提供有关样品性质变化的一些信息。

第二种实施的分析技术包括生成图像的直方图，其中针对每个波长显示了每个像素强度的出现频次。该方法提供了有关图像强度分布的更详细信息，并且当样品发生某些变化时，能够检测到图像的细微差异（金等，2001；金等，2015）。

3. 结果与讨论

如前所述，本工作的目标是开发一种低成本、易于使用、便携式的多光谱成像系统，用于通用目的。该仪器旨在适用于一些基本应用，例如食品腐烂检测、材料分类、样品表面检查等。在本节中将展示这些应用的一些示例。

A. 受损苹果的检测

已有特定的光谱成像系统被开发并报道用于检测苹果瘀伤（Baranowski 等，2012）。通过该应用，我们展示了所开发的通用仪器检测水果（特别是苹果）损伤的可行性。

图6展示了样品在8种不同波长下的照片。从图中可以看出，某些波长下损伤比其他波长更明显。

这些图像经过处理，以可视化水果出现这些缺陷时在相应波长下直方图的变化情况（Huang 等，2015）。图7展示了受损苹果与未受损苹果在455纳米、525纳米、660纳米和870纳米波长下的直方图对比。可以看出，当苹果受损时，由于损伤部位出现暗区，直方图向较低强度值方向偏移（见图5）。这种偏移在525纳米和660纳米波长的图像中更为明显，这些暗区呈现出更强烈的对比度。

B. 桃子成熟度监测

光谱成像分析也已广泛应用于食品状态的监测，特别是水果性质的检测，包括成熟度、硬度、酸度等（Wang 等，2015；Lu 和 Peng，2006）。在此情况下，所提出的系统被用于检测过熟桃子。图8A显示了在590纳米波长下良好桃子与过熟桃子图像的对比。每个波长下的图像都经过处理，以获得微型相机接收到的反射强度，从而得到反射率。该参数的表示如图8B所示。可以看出，在长波长处曲线存在偏移，这可用于区分不同桃子样品。

C. 喷洒农药樱桃的检测

在此情况下，该仪器用于检测喷洒了农药的樱桃。这种物质会残留在果实表面，直到被彻底清洗。图9A展示了反射率分析结果。如图所示，在紫外和红外波长处曲线仅有轻微变化。在940纳米波长下的图像直方图对比分析如图9B所示。该结果证实了当樱桃喷洒农药后，此波长下图像强度发生偏移。

D. 塑料分类

基于光谱成像的分析技术已广泛应用于塑料材料的区分和分类，例如聚对苯二甲酸乙二醇酯（PET）、聚氯乙烯（PVC）、低密度聚乙烯（LDPE）、高密度聚乙烯（HDPE）、聚丙烯（PP）和聚苯乙烯（PS）（莫罗尼等人，2015；比达尔等人，2012）。本文中，我们使用该仪器对三种塑料进行分类：LDPE、HDPE 和 PET。图10 显示了这三种材料各三个样品的反射光谱。

从该图中可以明显看出，光谱在可见光区域的形状非常相似。在对应于红外的高波长区域，一些差异使得能够区分这些材料。

E. 水质分类

水质特性的监测也是光谱成像的应用领域之一（Cattaneo等，2015；Fichot等，2016）。由于所包含的镜子可实现透射‐反射测量，该原型也适用于水样的分析。本研究中考虑了三种不同的水样：未加氯水、加氯饮用水和加氯非饮用水。图11A显示了这些样品获得的反射光谱。可以看出，各曲线明显可区分，样品识别效果良好。图11B显示了其中两个样品在385纳米处获得的直方图示例。

4. 结论

我们提出了一种用于通用目的的多光谱成像系统原型。该仪器相较于此前报道的其他系统，具有便携性高、成本低和易于使用的优势。波长选择通过LED面板实现光复用，图像采集则借助集成微型相机完成，这是实现紧凑型和便携式系统设计的关键。该仪器的核心部件是树莓派板。在定制开发的研究用仪器中采用商用电路板，为快速设计先进仪器提供了一条极具前景的途径，因为它能够在较少重新设计阶段的情况下快速推进原型演化。已在树莓派上实现一个基本图像处理算法，能够获取被测光谱下图像的反射率以及每幅图像的直方图。该分析可实现样品的现场快速分类或识别。图像还可通过更先进的技术进行进一步处理，例如在树莓派上或连接的外部计算机上实施主成分分析（PCA）。得益于这种连接能力，该仪器可完全兼容其他自定义设计的图像处理算法，而无需重新编程核心系统。此外，由于树莓派板仍具备足够的计算能力来支持额外代码，因此对其进行重新编程也十分简便。

通过分析不同样品（水果、塑料和水）证明了该原型的可行性。在所有情况下，对特定波长下的强度光谱或直方图的检查均可实现对样品的初步判定，这表明所提出的系统适用于多种可变场景的分析。