18、特征选择中交叉验证的可靠性与有效性及自强化元学习的信念生成

特征选择中交叉验证的可靠性与有效性及自强化元学习的信念生成

在机器学习和人工智能领域，特征选择的可靠性和有效性一直是研究的重点，同时元学习也逐渐成为提升学习效率和智能水平的关键方向。下面将详细介绍特征选择中交叉验证的相关研究以及自强化元学习生成信念的算法。

特征选择中交叉验证的可靠性与有效性

在特征选择研究中，引入了一种改进的度量方法。该方法是从系统间平均谷本指数（Inter - system Average Tanimoto Index）修改而来，去除了特征总数的影响，其公式为：
[IATI(X1_s, X2_s) = \frac{1}{k_i \cdot k_j} \sum_{i = 1}^{k_i} \sum_{j = 1}^{k_j} \frac{|X1_i \cap X2_j|}{|X1_i \cup X2_j|}]
其中，(X1_s) 和 (X2_s) 分别是两种方法选择的特征子集集合；(X = {x_1, …, x_N})；(X_i)，(X_j) 是所选特征的子集，且 (X_i, X_j \subset X)；(k_i) 和 (k_j) 是用于生成 (X1_s) 和 (X2_s) 的折数。

对于 ALL 方法，可靠性计算一次；对于 PART 方法，采用 K 折交叉验证时可靠性计算 K 次。所选特征的有效性通过使用 ALL 或 PART 方法所选特征生成的分类器的平均分类准确率来衡量。

实验设计

为了系统地进行实证研究，使用了人工数据，因为可以系统地预设所需特征和其他参数。以下是为分类问题生成的合成数据集：
| 数据集 | S（实例数量） | N（特征总数） | NI（无关特征数量） | 数据集