近红外光谱基础知识—数据预处理

---

前言

一、近红外光谱是什么？

NIRS是介于可见光和中红外光之间的电磁波，其波长范围为 780 ∼ 2526 nm（12820∼3959 cm−1），在该波段范围常又被分近红外短波（780∼1100 nm）和近红外长波（1100∼2526 nm）。由于近红外光谱区与有机分子中含氢基团（OH、NH、CH、SH）振动的合频和各级倍频的吸收区一致，通过扫描样品的近红外光谱，可以得到样品中有机分子含氢基团的特征信息，常被作为获取样本信息的一种有效的载体。采用光学方法进行样本检查时，常具有方便、高效、准确、成本低、可现场检测、不破坏样品、不消耗化学试剂和不污染环境等优势，被广泛应用于各类检测领域[3]。但近红外光谱存在谱带宽、重叠较严重、吸收信号弱、信息解析复杂等问题，与常用的化学分析方法不同，仅能作为一种间接测量方法，无法直接分析出被测样本的含量或类别，它依赖于化学计量学方法，在样品待测属性值与近红外光谱数据之间建立一个关联模型 (或称校正模型，Calibration Model) ，再通过模型对未知样品的近红外光谱进行预测来得到各性质成分的预测值。

二、近红外光谱的数据处理流程

2.1 整体流程

近红外光谱建模及应用流程如图下所示，近红外光谱的处理流程主要包括预处理方法（数据预处理和波长选择）、建立校正模型（分类模型和回归模型）和模型转移。

本章节主要介绍常见的数据预处理算法

三、 数据预处理算法

预处理是由于采集的仪器、环境等的影响，对采集的光谱映入了噪声干扰，常用的预处理方法主要有：

2.2.1 平滑处理（Smoothing）

如移动窗口平滑、SavitzkyGolay S-G）来消除随机噪声，基本思想是对指定宽度为 2𝑛 + 1 个点的“窗口”内各点的数据进行重现拟合，使其相邻数据点之间更加平滑。其中 S-G 平滑是基于最小二乘原理提出的卷积平滑方法，在NIRS数据预处理应用比较广泛。

2.2.2 位移校正（Offset correction）

中心化处理数据在 0 附近，常用的方法是通过对每条光谱的每个点减去该点的前 𝑛 个波长点的吸光度的平均值。该方法消除因仪器状态、测试环境和光程变化等引起对近红外漫反射光谱的影响。

2.2.3 趋势校正（Detrend correction）

消除原光谱中的基线漂移，基本消除不同采样部位、不同样品和不同批次对其近红外光谱的影响。该方法先将原始光谱通过最小二乘法拟合出一条趋势线，然后从原始光谱中减去这个趋势线。

2.2.4 多元散射校正 (Multiplicative Scatter Correction, MSC)

消除由于样品颗粒分布不均匀及颗粒大小不同产生的散射对其光谱的影响，该方法主要用于消除理想中的线性散射影响，在吸光度与样品的化学性质线性关系好的时候，效果比较好。
(5) 标准正态变量校正（Standard normal variate correction，SNV）及矢量归一化（Vector normalization，VN）：来校正样品因颗粒散射而引起的光谱误差。
(6) 导数校正（Derivative correction）：用于消除光谱中的基线和漂移（散射），可有效消除其他背景的干扰，分辨重叠峰，提高分辨率和灵敏度，被广泛应用于光谱分析中。
(7) 小波变换（Wavelet transform，WT）：运用基函数将光谱根据频率的不同分解成各种尺度成分，并对大小不同的尺度成分采用相应宽度的取样窗口，既能观测光谱的激烈变化情况，又能观测光谱的整体特征，常用于数据压缩、平滑和滤噪声等。
(8) 正交信息校正（Orthogonal signal correction，OSC）：它是在建模前，将样本的光谱矩阵与待测性质矩阵正交，滤除光谱与待测性质之间的不相关或正交的信，可以简化模型和提高模型的预测能力。
(9) 有限脉冲响应（Finite impulse response filtering，FIR）：它是根据有限脉冲滤波的原理来降低仪器变化带来的影响，主要解决基线和斜率随波长点引起的变化导致不同仪器间模型无法使用或预测性能差的问题。

总结

本章主要介绍了近红外光谱建模的常用数据预处理方法