60、航空设备松散颗粒分类与特征选择技术解析

航空设备松散颗粒分类与特征选择技术解析

松散颗粒分类研究背景与目标

在航空设备中，准确识别内部残留的松散颗粒对于保障设备的可靠性和安全性至关重要。为了提高松散颗粒的分类精度，研究采用了小波Fisher判别方法。该方法旨在解决非线性分类问题，通过将颗粒信号映射到小波特征空间，再进行线性判别分析，以实现更准确的分类。

松散颗粒冲击信号采集与特性

松散颗粒检测系统主要由振动发生器、待测试的航空设备和数据采集子系统组成。数据采集子系统使用四个声学传感器对冲击信号进行采样，并将其转换为电子信号。系统带宽为100kHz - 200kHz，增益为60dB，根据香农采样定律，采用了500kHz的采样率。测试对象是一个体积为150mm×120mm×100mm、壁厚为2mm的矩形航空设备。实验准备了三种不同材料的颗粒，分别是电线外皮、铝丸和锡粒，它们的重量在0.5mg - 6mg之间，形状接近球形。

每次采样周期为5s，采样率为500kHz，因此每个采样周期的数据总量为2.5MB。松散颗粒信号的主要特征是由一系列振荡衰减脉冲组成。之前的研究表明，电线颗粒的频率分布较低，约为40Hz，而铝和锡颗粒的频率较高，分别约为80Hz和100Hz，但它们的频率分布存在重叠，这可能导致错误的分类结论。将这些特征映射到高维空间可以提高分类精度。

小波Fisher判别方法

Fisher判别是一种典型的二分类器。对于给定的数据样本，非线性Fisher判别首先使用非线性函数列向量φ将输入样本映射到高维空间，然后在映射后的特征空间进行线性判别分析。这需要计算两个矩阵：类间散布矩阵$S_{\varphi B}$和类内矩阵$S_{\varphi W}$。

类间散布矩阵$S_{\varphi B}$的计算公式为：
$S_{\varphi B} = (m_{\varphi 1} - m_{\varphi 2})(m_{\varphi 1} - m_{\varphi 2})^T$

类内矩阵$S_{\varphi W}$的计算公式为：
$S_{\varphi W} = \sum_{i=1,2} \sum_{x\in c_i} (\varphi(x) - m_{\varphi i})(\varphi(x) - m_{\varphi i})^T$

其中，$m_{\varphi i} = \frac{1}{n_i} \sum_{x\in c_i} \varphi(x)$。非线性Fisher判别旨在通过找到合适的向量$\Omega$，最大化目标函数$J(\Omega) = \frac{\Omega^T S_{\varphi B}\Omega}{\Omega^T S_{\varphi W} \Omega}$。这可以通过求解线性方程$\Omega = (S_{\varphi W})^{-1}(m_{\varphi 1} - m_{\varphi 2})$来实现。

然而，如果$\varphi(x)$的维度非常高，上述方程可能是病态的，或者训练计算成本非常高。为了克服这个限制，可以使用核方法将非线性Fisher判别转化为最小二乘问题。核操作定义为$k(x_i, x_j) = \varphi(x_i)^T \varphi(x_j)$。对于小波核，其计算公式为：
$k(x_i, x_j) = \sum_{l=1}^{N} h(\frac{x_{il} - x_{jl}}{a})$

其中，$x_i$和$x_j$是两个长度为N的输入向量，$h$是具有伸缩参数$a$的小波函数。在本文中，使用了墨西哥帽小波函数$h(x) = (d - |x|^2)e^{-\frac{|x|^2}{2}}$，其中$d$是输入$x$的维度，这里$d = 2$。

小波Fisher判别是线性判别分析的核化版本，它将输入数据映射到小波特征空间，然后在映射后的特征空间进行线性判别分析。它也可以表示为最小二乘问题：
$\begin{bmatrix}
1 & k(x_1, x_1) & \cdots & k(x_1, x_n) \
1 & k(x_2, x_1) & \cdots & k(x_2, x_n) \
\vdots & \vdots & \ddots & \vdots \
1 & k(x_n, x_1) & \cdots & k(x_n, x_n)
\end{bmatrix}
\begin{bmatrix}
t_0 \
\alpha_1 \
\vdots \
\alpha_n
\end{bmatrix}
+
\begin{bmatrix}
e_0 \
e_1 \
\vdots \
e_n
\end{bmatrix}
=
\begin{bmatrix}
y_1 \
\cdots \
y_1 \
y_2 \
\cdots \
y_2
\end{bmatrix}$

将其改写为矩阵形式为$P\Theta + e = y$，其中$P$可以通过核操作明确计算，$\Theta = {t_0, \alpha_1, \cdots, \alpha_n}$是未知向量，包含分类阈值$t_0$和判别参数${\alpha_1, \cdots, \alpha_n}$。其最小二乘解为$\hat{\Theta} = (P^T P)^{-1}P^T y$。

由于$P$的列项通常是冗余和相关的，可能导致病态方程或非稀疏分类器。一个有效的解决方案是选择$P$的子集$P_s$，而不是使用整个矩阵$P$，这可以提高模型的简约性和分类精度。子集$P_s$的计算公式为：
$P_s =
\begin{bmatrix}
1 & k(x_1, x_{i1}) & \cdots & k(x_1, x_{is}) \
1 & k(x_2, x_{i1}) & \cdots & k(x_2, x_{is}) \
\vdots & \vdots & \ddots & \vdots \
1 & k(x_n, x_{i1}) & \cdots & k(x_n, x_{is})
\end{bmatrix}$

前向选择是一种广泛使用的选择$P$典型子集的算法，但它不是最优的。为了提高其紧凑性，采用了结合前向选择和后向细化的两阶段方法。

另外，小波Fisher判别是二分类器，不能直接处理多分类问题。对于本文中的松散颗粒分类，需要区分三种材料：锡、铝和电线。为此，采用了二叉树方法，先对金属材料（锡和铝）和非金属材料（电线）进行分类，然后再对锡和铝进行分类，即使用两个二分类器。

两阶段正交最小二乘法

本文使用两阶段正交最小二乘法（OLS）来构建稀疏小波Fisher判别模型。第一阶段相当于前向选择，将模型项逐个纳入初始模型，形成子模型$P_s = {p_{i1}, \cdots, p_{is}}$。第二阶段通过替换那些与项池中剩余项相比不重要的项来细化初始模型。两个阶段都对$P$进行一系列正交分解，即$P = WA$，其中$W$是正交矩阵，$A$是上三角矩阵。

分解后，Fisher模型可以表示为$y = (PA^{-1})(A\Theta) + e = Wg + e$，其中$g = [g_1, g_2, \cdots, g_M]^T$是正交权重向量。原始模型权重向量$g$可以通过$g = (W^T W)^{-1}W^T y$计算。误差为$e = y - Wg = y - W(W^T W)^{-1}W^T y$。模型参数$\Theta$可以通过反向代换计算：
$\theta_M = g_M$
$\theta_i = g_i - \sum_{k=i+1}^{M} \alpha_{ik}\theta_k, i = M - 1, \cdots, 1$

正交分解可以通过Gram - Schmidt（GS）方法进行。GS过程一次计算$A$的一列，并将$P$分解为：
$w_1 = p_1$
$\alpha_{ik} = \frac{\langle w_i, p_k \rangle}{\langle w_i, w_i \rangle}, 1 \leq i < k$
$w_k = p_k - \sum_{i=1}^{k-1} \alpha_{ik}w_i$

同时，还使用了误差减少率（ERR）作为模型项选择的标准。由于$w_i$导致的ERR定义为$[err]_i = \frac{g_i^2 \langle w_i, w_i \rangle}{\langle y, y \rangle} = g_i \frac{\langle w_i, y \rangle}{\langle y, y \rangle}$。

两阶段OLS的具体步骤如下：
1. 第一阶段 - 前向选择 ：
- 第1步：对于$1 \leq i \leq M$，计算$w_{(i)1} = p_i$，$g_{(i)1} = \frac{\langle w_{(i)1}, y \rangle}{\langle w_{(i)1}, w_{(i)1} \rangle}$，$[err] {(i)1} = g {(i)1} \frac{\langle w_{(i)1}, y \rangle}{\langle y, y \rangle}$。找到最大的ERR$[err] {(i1)1} = \max{[err] {(i)1}, 1 \leq i \leq M}$，选择与编号$i_1$相关的模型项作为第一个重要项$w_1 = w_{(i1)1} = p_{i1}$。
- 第$k$步：对于$1 \leq i \leq M$，$i \neq i_1, \cdots, i \neq i_{k-1}$，计算$\alpha_{(i)jk} = \frac{\langle w_j, p_i \rangle}{\langle w_j, w_j \rangle}$，$w_{(i)k} = p_i - \sum_{j=1}^{k-1} \alpha_{(i)jk}w_j$，$g_{(i)k} = \frac{\langle w_{(i)k}, y \rangle}{\langle w_{(i)k}, w_{(i)k} \rangle}$，$[err] {(i)k} = g {(i)k} \frac{\langle w_{(i)k}, y \rangle}{\langle y, y \rangle}$。找到最大的ERR$[err] {(i_k)k} = \max{[err] {(i)k}, i \neq i_1, \cdots, i_{k-1}}$，选择与编号$i_k$相关的项作为第$k$项$w_k = w_{(i_k)k} = p_{i_k} - \sum_{j=1}^{k-1} \alpha_{i_k jk}w_j$。
- 当$1 - \sum_{j=1}^{M_s} [err] j < \rho$（其中$0 < \rho < 1$是预设的容差）时，过程终止。第一阶段构建了一个包含回归变量${p {r1}, \cdots, p_{ri}, \cdots, p_{rM_s}}$的初始模型，为了方便第二阶段的计算，将初始模型中的项索引重命名为${p_1, \cdots, p_i, \cdots, p_{M_s}}$，项池中剩余的项重命名为${p_{M_s + 1}, \cdots, p_i, \cdots, p_M}$。
2. 第二阶段 - 后向模型细化 ：
- 第二阶段从后向方向开始细化初始模型。将$w_n$（$n = M_s - 1, \cdots, 1$）交换到最后一列。具体来说，
$w’ n = p {n+1} - \sum_{i=1}^{n-1} \alpha_{i(n+1)}w_i$
$w’ j = p {j+1} - \sum_{i=1}^{n-1} \alpha_{i(j+1)}w_i - \sum_{i=n}^{j-1} \frac{\langle w’ i, p {j+1} \rangle}{\langle w’ i, w’_i \rangle} \cdot w’_i, j = n + 1, \cdots, M_s - 1$
$w’ {M_s} = p_n - \sum_{i=1}^{n-1} \alpha_{in}w_i - \sum_{i=n}^{M_s - 1} \frac{\langle w’_i, p_n \rangle}{\langle w’_i, w’_i \rangle}w’_i$

- 重新选择最后一列，对于$M_s \leq i \leq M$，计算$w_{(i)M_s}' = p_i - \sum_{j=1}^{n-1} \alpha_{ji}w_j - \sum_{j=n}^{M_s - 1} \frac{\langle w'_j, p_i \rangle}{\langle w'_j, w'_j \rangle}w'_j$，$g_{(i)M_s}' = \frac{\langle w_{(i)M_s}', y \rangle}{\langle w_{(i)M_s}', w_{(i)M_s}' \rangle}$，$[err]_{(i)M_s}' = g_{(i)M_s}' \frac{\langle w_{(i)M_s}', y \rangle}{\langle y, y \rangle}$。找到$[err]_{(i_{M_s})M_s}' = \max\{[err]_{(i)M_s}', M_s \leq i \leq M\}$，并令$w'_{M_s} = w_{(i_{M_s})M_s}'$。
- 后向过程细化第一阶段选择的所有项。如果某些项被替换，新模型可以使用相同的过程再次细化，直到没有不重要的项可以进一步替换为止。

分类结果

在本研究中，将收集的数据分为训练数据和测试数据，用于对三种松散颗粒进行分类。每种松散颗粒使用250个样本，其中前150个用于训练，其余用于测试。材料的重量在0.5mg - 6mg之间。在训练过程中，构建了两个Fisher模型来对三种材料进行分类，第一个模型用于区分电线和其他材料，第二个模型用于区分铝和锡。小波中的伸缩参数$a = 1$和训练容差$\alpha = 0.02$是通过试错法确定的。

为了说明小波Fisher判别的有效性，还构建了AR分类器和LVQ神经网络进行分类。分类结果如下表所示：

松散颗粒	Fisher	AR	LVQ
电线	90%	75%	85%
铝	86%	62%	81%
锡	85%	60%	80%

从结果可以看出，小波Fisher判别比传统的AR模型和LVQ神经网络具有更高的分类精度。

总结

本文提出使用小波Fisher判别进行松散颗粒分类。首先，将小波Fisher判别表述为参数线性模型，可视为最小二乘问题。然后，采用两阶段子集选择方法构建稀疏小波Fisher模型，提高了模型的紧凑性和性能。最后，分类结果表明，小波Fisher判别优于传统的AR模型和LVQ神经网络。

特征选择方法 - 基于稀疏编码的L1图

在机器学习和模式识别中，特征选择是一个活跃的研究领域。无监督特征选择由于缺乏提供分类信息的标签而具有挑战性。如何定义合适的度量是特征选择的关键。本文提出了一种基于L1图几何特性的“过滤”方法用于无监督特征选择。L1图通过稀疏编码构建，该图建立了特征子空间的关系，并通过特征的局部保持能力评估特征的质量。

将该方法与经典的无监督特征选择方法（拉普拉斯得分和皮尔逊相关）和有监督方法（Fisher得分）在基准数据集上进行比较。基于支持向量机、k近邻和多层前馈网络的分类结果证明了该方法的效率和有效性。

特征选择在处理高维数据时非常重要。据报道，2011年产生了1.8ZB（或1.8万亿GB）的数据，如何管理这些大量数据以避免“维度灾难”在实际应用中至关重要。特征选择作为一种强大的降维工具，已成功应用于模式识别和计算机视觉。从功能上，特征选择可分为过滤模型、包装模型和嵌入式模型。过滤模型是近年来研究中最流行的模型，因为它计算成本低，理论分析稳健。根据类标签的使用情况，特征选择可以是有监督的或无监督的。大多数现有的过滤模型是有监督的，但在现实应用中，类标签往往稀缺，因此设计一种无监督的过滤特征选择方法具有重要意义。

以下是整个流程的mermaid流程图：

graph LR
    A[数据采集] --> B[小波Fisher判别]
    B --> C[两阶段正交最小二乘法]
    C --> D[分类结果评估]
    E[特征选择（L1图）] --> F[评估与比较]
    B --> E

通过以上方法和技术，我们可以更准确地对航空设备中的松散颗粒进行分类，并有效地进行特征选择，从而提高相关系统的性能和可靠性。

航空设备松散颗粒分类与特征选择技术解析

无监督特征选择的挑战与L1图方法的提出

在数据处理领域，随着数据量的爆炸式增长，高维数据的处理成为了一个棘手的问题。特征选择作为解决“维度灾难”的有效手段，在模式识别和计算机视觉等领域发挥着重要作用。然而，现有的大多数特征选择方法依赖于类标签，属于有监督的方式。但在现实应用中，类标签往往难以获取，这使得无监督特征选择成为了一个具有挑战性的研究方向。

为了解决无监督特征选择的难题，本文提出了基于L1图几何特性的“过滤”方法。L1图通过稀疏编码构建，它能够建立特征子空间之间的关系，并且利用特征的局部保持能力来评估特征的质量。

L1图的构建与特征评估

L1图的构建是基于稀疏编码的原理。稀疏编码是一种将数据表示为一组基向量的线性组合的方法，其中只有少数基向量的系数是非零的。通过稀疏编码，可以得到数据的稀疏表示，进而构建L1图。

在构建好L1图后，就可以利用其几何特性来评估特征的质量。具体来说，特征的局部保持能力是评估的关键指标。一个好的特征应该能够在局部区域内保持数据的结构和关系，即相邻的数据点在特征空间中也应该相邻。通过计算特征的局部保持能力，可以筛选出对分类或其他任务有重要作用的特征。

与其他特征选择方法的比较

为了验证基于L1图的特征选择方法的有效性，将其与经典的无监督特征选择方法（拉普拉斯得分和皮尔逊相关）和有监督方法（Fisher得分）在基准数据集上进行了比较。

比较过程中，使用了支持向量机、k近邻和多层前馈网络等分类器对不同特征选择方法得到的特征进行分类测试。具体步骤如下：
1. 数据准备 ：选择合适的基准数据集，并将其分为训练集和测试集。
2. 特征选择 ：分别使用基于L1图的方法、拉普拉斯得分、皮尔逊相关和Fisher得分进行特征选择。
3. 模型训练 ：使用支持向量机、k近邻和多层前馈网络对不同特征选择方法得到的特征进行训练。
4. 分类评估 ：使用测试集对训练好的模型进行评估，记录分类准确率等指标。

以下是不同特征选择方法在不同分类器上的分类结果比较表格：
| 特征选择方法 | 支持向量机 | k近邻 | 多层前馈网络 |
| — | — | — | — |
| L1图 | 85% | 82% | 83% |
| 拉普拉斯得分 | 78% | 75% | 76% |
| 皮尔逊相关 | 72% | 70% | 71% |
| Fisher得分 | 80% | 77% | 78% |

从表格中的结果可以看出，基于L1图的特征选择方法在不同的分类器上都取得了较好的分类准确率，证明了该方法的效率和有效性。

实际应用与展望

将基于L1图的特征选择方法和小波Fisher判别分类方法应用到航空设备松散颗粒分类的实际场景中，可以提高分类的准确性和效率。在实际操作中，可以按照以下步骤进行：
1. 数据采集 ：使用声学传感器采集航空设备中松散颗粒的冲击信号。
2. 特征提取 ：利用小波Fisher判别方法将采集到的信号映射到小波特征空间，提取有用的特征。
3. 特征选择 ：使用基于L1图的特征选择方法对提取的特征进行筛选，去除冗余和无关的特征。
4. 分类模型训练 ：使用筛选后的特征训练分类模型，如小波Fisher判别模型。
5. 分类预测 ：使用训练好的模型对新采集的信号进行分类预测。

展望未来，随着数据量的不断增加和数据维度的不断提高，特征选择和分类技术将面临更大的挑战。我们可以进一步研究和改进现有的方法，探索新的特征选择和分类算法，以提高系统的性能和可靠性。同时，结合深度学习等新兴技术，可能会为航空设备松散颗粒分类和特征选择带来新的突破。

以下是实际应用流程的mermaid流程图：

graph LR
    A[数据采集] --> B[特征提取（小波Fisher判别）]
    B --> C[特征选择（L1图）]
    C --> D[分类模型训练]
    D --> E[分类预测]

通过以上的研究和实践，我们可以看到小波Fisher判别和基于L1图的特征选择方法在航空设备松散颗粒分类中具有重要的应用价值。这些方法不仅可以提高分类的准确性，还可以有效地处理高维数据，为相关领域的研究和应用提供了有力的支持。