4、机器学习基础：从理论到实践

机器学习基础：从理论到实践

1. 机器学习概述

在深入研究机器学习算法之前，我们需要先了解一些基础概念。机器学习的核心目标是从一组训练示例中推断出一个分类规则，该规则能够在新的测试数据上做出准确的预测。然而，这一目标并非显而易见，因为训练数据和测试数据之间的联系以及从有限的训练数据推广到大量测试数据的可能性都存在疑问。

但在某些条件下，这种学习是完全可行的。具体来说，如果我们能找到一个简单的规则，它能很好地拟合训练数据，并且训练集的规模足够大，那么这个规则通常能够在未见过的测试数据上表现良好。

2. 直接的机器学习方法

2.1 学习的充分条件

学习算法通常以一组标记的训练示例作为输入，然后使用这些示例来形成一个用于分类新实例的假设。为了便于理解，我们先来看一个实例 $x_i$ 为实数的例子，训练集如下表所示：

实例	1.2	2.8	8.0	3.3	5.0	4.5	7.4	5.6	3.8	6.6	6.1	1.7
标签	-	-	+