机器学习核心问题解析与实践-优快云博客

实例空间大小：由十个布尔属性可创建 2¹⁰ 个不同示例，即实例空间大小为 2¹⁰。

分类器空间大小：实例空间子集数量为 2^(2¹⁰)，这就是分类器空间大小。

真正严重的难题包括：

可以容忍的难题是冗余属性，其危害相对较小，因为其值可从其他属性获得。

无关属性是指其值与给定示例的类别无关，但会影响向量间的几何距离；冗余属性是指其值可以从其他属性的值中获得，例如年龄可以从出生日期的值中得到。

无关属性和冗余属性都会误导某些归纳技术，不过无关属性对k - NN分类器计算的向量间距离的影响更大，而决策树等范式对冗余属性的敏感度相对较低，但两者都可能导致过高的计算成本。

以识别橡树为例，可列出以下属性描述训练示例：

这些属性值获取难度不同，外观和树叶特征较易观察测量，但生长环境中部分数据需专业工具和实地考察。

会使学习过程复杂的问题有：

根据公式：

$$
P_{heads}=\frac{N_{heads}+m\theta_{heads}}{N_{all}+m}
$$

已知：
- $N_{all}=3$
- $N_{heads}=1$
- $m = 3$
- $\theta_{heads}=0.5$

则：

$$
P_{heads}=\frac{1 + 3\times0.5}{3 + 3}=\frac{1+1.5}{6}=\frac{2.5}{6}=\frac{5}{12}\approx0.42
$$

同理，对于 $P_{tails}$：

$$
P_{tails}=\frac{N_{tails}+m\theta_{tails}}{N_{all}+m}
$$

已知：
- $N_{tails}=2$
- $\theta_{tails}=0.5$

则：

$$
P_{tails}=\frac{2 + 3\times0.5}{3 + 3}=\frac{2 + 1.5}{6}=\frac{3.5}{6}=\frac{7}{12}\approx0.58
$$

需访问 www.ics.uci.edu/~mlearn/MLRepository.html 查看数据，分析其在属性数量、属性类型、规模等方面的差异。

可以通过以下两种方式提出最近邻原则的变体：

创建两个列表， L 和 Lseen 。开始时， L 仅包含整个训练集作为初始状态， Lseen 为空。
令 n 为 L 的第一个元素。将当前移除示例后的训练集表现与原训练集表现对比（确保移除不影响行为），若满足要求且达到目标状态（比如分类准确率等指标不变），停止并标记成功。
对 n 应用搜索算子，即每次移除一个训练示例，得到一组新的训练集状态。丢弃那些已存在于 Lseen 中的状态。对于其余状态，使用评估函数（如分类准确率等）进行排序，并将它们置于 L 的前端。
将 n 从 L 转移到已调查状态的列表 Lseen 中。
如果 L 为空，停止并报告失败；否则，返回步骤 2。