[文献阅读] A Rough Hypercuboid Approach for Feature Selection in Approximation Spaces

关注

原创 2024-03-20 00:02:14 630 阅读 AI 写同款· GEO 优化 ›

损失函数与优化器：从「梯度是怎么被造出来的」到「梯度是怎么被用掉的」本文揭示损失函数与优化器本质一体：优化器仅依赖损失产生的梯度，而损失决定梯度的方向、尺度与噪声特性。错误的损失选择（如分类用MSE）会导致梯度失衡，使优化器失效；不同损失（如Huber、Focal）通过调控梯度分布影响优化过程。实测表明，归约方式、标签结构与损失配对直接决定梯度行为，进而影响收敛性与泛化。核心观点：选对损失，才是让优化器“看得懂”的前提。阅读详情

摘要

选择相关和重要的特征是一个重要问题，尤其是对于具有大量特征的数据集。为此，我们提出了一种基于粗糙超立方体（rough hypercuboid）方法的新特征选择算法。该算法通过最大化所选特征的相关性、依赖性和重要性（relevance, dependency and significance），从数据集中选出一组特征。通过引入超立方体等效分区矩阵（hypercuboid equivalence partition matrix）的概念，提出了一种样本类别对特征依赖程度的新表示方法，用于衡量近似空间（approximation space）中特征的相关性、依赖性和重要性。等效分区矩阵还提供了一种有效的方法来计算更多量化指标，以描述近似分类的不精确性。在粗略超立方体方法的基础上引入了几个定量指标，用于评估所提出方法的性能。在各种不同大小和维度的真实数据集上，广泛证明了所提出的方法在计算复杂性和分类准确性方面优于其他特征选择方法。

相关概念

minimal redundancy-maximal relevance (mRMR) 最小冗余度-最大相关度

一种用于特征选择的算法，目的是识别一组与目标变量相关度最大、且彼此冗余度最低的特征，目的是提高分类器或预测器的性能，同时也减少过拟合和计算复杂性。其中，相关度用特征与目标变量的互信息（mutual information）计算，冗余度用特征之间的互信息计算。

maximal relevance-maximal significance (MRMS) 最大相关度-最大重要度

与mRMR相似，将relevance和significance的标准相结合进行特征选择。mRMR和MRMS都没有考虑高维空间和类别标签的数据分布之间的依赖关系。

rough set 粗糙集

本文中涉及的粗糙集概念已经在粗糙超立方体学习笔记中提到，在此不过多赘述。

hypercuboid 超立方体（将m维数据点集转换为超立方体）

如图1，两种点都有两个特征 $A_i$ 和 $A_j$ ，其中圆点的 $A_i$ 特征的取值范围为 $[A,C]$ ，于是， $[A,C]$ 区间形成了Class A在特征 $A_i$ 维度上的投影，同样地， $[B,D]$ 形成了Class B在特征 $A_i$ 维度上的投影。d维超立方体（d个属性）被定义为其d个正交区间的笛卡尔积。

hypercuboid equivalence partition matrix 超立方体等价划分矩阵

设论域 $U=\{x_1,\dots,x_j,\dots,x_n\}$ ，条件属性集 $C=\{A_1,\dots,A_k,\dots,A_m\}$ ，由决策属性集划分的等价类 $U/D=\{\beta_1,\dots,\beta_i,\dots,\beta_c\}$ 。对于某一条件属性 $A_k$ ，其超立方体等价划分矩阵定义如下：

$H(A_k) = \begin{pmatrix} h_{11}(A_k) & h_{12}(A_k) & \cdots & h_{1n}(A_k) \\ h_{21}(A_k) & h_{22}(A_k) & \cdots & h_{2n}(A_k) \\ \vdots & \vdots & \ddots & \vdots \\ h_{c1}(A_k) & h_{c2}(A_k) & \cdots & h_{cn}(A_k) \\ \end{pmatrix}$

其中 $h_{ij}(A_k)$ 表示第 $j$ 个对象的 $A_k$ 属性是否在等价类 $\beta_i$ 中 $A_k$ 属性的范围内，即区间 $[L_i,U_i]$ 内，形式化的定义为 $h_{ij}(A_k) = \begin{cases} 1, & \text{if } L_i \leq x_j(A_k) \leq U_i \\ 0, & \text{otherwise}. \end{cases}$ 。

这可以看作利用类信息的监督式粒化过程（supervised granulation process）。

决策属性对条件属性或条件属性子集的依赖程度可以通过找到包含误分类对象（misclassified objects）的隐式超立方体来评估。基于超立方体等价分割矩阵的概念，隐式超立方体的误分类对象可以通过如下定义的长度为 $n$ 的混淆向量（confusion vector）来确定： $V(A_k)=[v_1(A_k),\dots,v_j(A_k),\dots,v_n(A_k)]$ ，其中 $v_j(A_k)=min\left \{ 1,\sum_{i=1}^{c}h_{ij}(A_k)-1 \right \}$ ，表示 $x_j$ 是否被包含在超过一个类的边界内。

超立方体等价分割矩阵和 $A_k$ 的混淆向量可用于定义等价类 $\beta_i$ 的上下近似：

$\underline{A}(\beta_i)=\{x_j|h_{ij}(A_k)=1\ and\ v_j(A_k)=0\}$

$\overline{A}(\beta_i)=\{x_j|h_{ij}(A_k)=1\}$

其中 $A$ 是由属性 $A_k$ 引导的等价关系，则 $\beta_i$ 的边界域定义如下：

$BND_A(\beta_i)=\underline{A}(\beta_i)\setminus \overline{A}(\beta_i)=\{x_j|h_{ij}(A_k)=1\ and\ v_j(A_k)=1\}$

dependence and significance 依赖度和重要度

基于粗糙集中上下近似的定义，决策属性 $D$ 的正域、负域和边界域定义如下：

$POS_A(D)=\bigcup_{\beta\in U/D}\underline{A}(\beta_i)$

$NEG_A(D)=U-\bigcup_{\beta\in U/D}\overline{A}(\beta_i)$

$BND_A(D)=\bigcup_{\beta\in U/D}\overline{A}(\beta_i)-\bigcup_{\beta\in U/D}\underline{A}(\beta_i)$

结合前面的超正方体等价划分矩阵和混淆向量的式子，可以得到

$|POS_A(D)|=\sum_{i=1}^{c}\sum_{j=1}^{n}h_{ij}(A_k)\cap[1-v_j(A_k)]$

因此，条件属性 $A_k$ 与决策属性 $D$ 的依赖度可以写为

$\gamma_{A_k}(D)=\frac{1}{n}\sum_{i=1}^{c}\sum_{j=1}^{n}h_{ij}(A_k)\cap[1-v_j(A_k)]=1-\frac{1}{n}\sum_{j=1}^{n}v_j(A_k)$

依赖度是0到1的值，其值越大说明决策属性 $D$ 对条件属性 $A_k$ 的依赖度越高，如果 $\gamma_{A_k}(D)=1$ ，说明 $D$ 完全取决于 $A_k$ 。

若同时考虑多个条件属性，计算其超立方体等价划分矩阵，则有 $H(C)=\bigcap_{A_k\in C}H(A_k)$ ，其中 $h_{ij}(C)=\bigcap_{A_k\in C}h_{ij}(A_k)$ 。同理，同时考虑多个条件属性的混淆向量为 $V(C)=[v_1(C),\dots,v_j(C),\dots,v_n(C)]$ ，其中 $v_j(C)=min\left \{ 1,\sum_{i=1}^{c}h_{ij}(C)-1 \right \}$ ，表示 $x_j$ 的 $C$ 各项条件属性都被包含在超过一个类的边界内。

（接下来是一段有关加速正域计算的式子，由于无法完全理解先放一放...）

结合粗糙集中重要度的定义，以及前面的式子，属性 $A_k$ 关于条件属性集 $C$ 的重要度可以写作 $\sigma_C(D,A_k)=\frac{1}{n}\sum_{j=1}^{n}[v_j(C-{A_k})-v_j(C)]$ ，其值为0到1，其值越高，则属性 $A_k$ 越重要。

算法流程

量化指标

平均准确度（ $\alpha$ 指数）

$\alpha=\frac{1}{c}\sum_{i=1}^{c}\frac{\underline{A}(\beta_i)}{\overline{A}(\beta_i)}$

其中 $|\overline{A}(\beta_i)|=\sum_{j=1}^{n}h_{ij}(S)$ ， $|\underline{A}(\beta_i)|=\sum_{j=1}^{n}h_{ij}(S)\cap[1-v_j(S)]$

$\alpha$ 指数反映了所选择的特征对与决策属性 $D$ 的分辨能力，如果 $\alpha=1$ ，说明决策属性可以由所选择的条件特征集合 $S$ 清晰定义。

平均粗糙度（ $\varrho$ 指数）

$\varrho =1-\alpha=1-\frac{1}{c}\sum_{i=1}^{c}\frac{\underline{A}(\beta_i)}{\overline{A}(\beta_i)}$

$\varrho$ 指数表示了所选知识的不完整程度，其值越低，则整体类近似效果越好。

近似准确度（ $\alpha^*$ 指数）

$\alpha^*=\frac{\sum_{i=1}^{c}|\underline{A}(\beta_i)|}{\sum_{i=1}^{c}|\overline{A}(\beta_i)|}$

$\alpha^*$ 指数反应了近似分类的精确度。

近似质量（ $\gamma$ 指数）

$\gamma=\frac{1}{|U|}\sum_{i=1}^{c}|\underline{A}(\beta_i)|$

$\gamma$ 指数反映了近似分类算法的质量。

实验结果

以下介绍五个特征评估指数。

Class Separability Index 类分离指数

数据集的类分离指数定义为 $\textit{S}=\textup{trace}(V_B^{-1}V_W)$ ，其中 $V_W$ 是类内散布矩阵（within-class scatter matrix），是在统计模式识别和机器学习中用来量化每个类中的样本围绕其自身类均值的紧密程度的一种度量， $V_B$ 是类间散布矩阵（between-class scatter matrix），衡量的是各类均值围绕所有样本总体均值的散布程度。

Entropy 熵

数据集的熵定义为 $E=-\sum_{i=1}^{n}\sum_{j=1}^{n}S_{ij}\times \textup{log}S_{ij}+(1-S_{ij})\times \textup{log}(1-S_{ij})$ ，其中 $S$ 表示两个体间的相似度，熵能够衡量数据集内部复杂性和无序度。