7、归纳与类比学习：分类与连续性能指标的学习方法

归纳与类比学习：分类与连续性能指标的学习方法

在实际的系统分析和决策过程中，性能指标的性质对于选择合适的学习方法至关重要。性能指标可以分为分类性能指标和连续性能指标，下面将详细介绍针对这两种不同类型性能指标的学习方法。

1. 分类性能指标的学习

1.1 问题陈述

当性能指标 (y) 是一个分类变量，且只能从 (K) 个离散的可能值中选取一个时，模式识别为引入学习方法提供了合适的背景。与现有的分类技术（如线性判别函数、最近邻和其他非参数分类器、神经网络等）相比，这里介绍的学习方法有其独特之处，具体区别如下表所示：
| 对比项 | 传统分类方法 | 建议的替代方法 |
| — | — | — |
| 变量空间 | (x \in \mathbb{R}^M) | (X \in \mathbb{I}^M) |
| 预测值 | (y(x)) 或 (p(y = j|x)) | (y(X)) 或 (p(y = j|X)) |
| 映射函数 | 依赖特定技术 | 决策树归纳 |
| 搜索过程 | 不存在 | 有 |

1.1.1 传统分类技术

传统的分类程序旨在回答以下问题：
- 给定一个通用向量 (x = [x_1, \ldots, x_n, \ldots, x_M]^T \in \mathbb{R}^M)，对应的 (y) 值是什么？
- 给定一个通用向量 (x = [x_1, \ldots, x_n, \ldots, x_M]^T \in \mathbb{R}^M)，条件概率 (p(y = j|x))（(j = 1, \ldots, K)）的合理估计是多少？