2、机器学习入门全解析

机器学习入门全解析

1. 机器学习概述

机器学习是人工智能的一个子领域，它能让系统自动发现数据的统计结构，并将这些模式转化为更接近预期输出的结果。学习过程通过反馈机制得以优化，即比较计算输出与预期输出的差异。与专家系统不同，机器学习系统无需明确编程，它会在假设空间中自动搜索模式，并利用反馈信号修正这些模式。

要使机器学习算法在现实世界数据上有效工作，需为机器提供全面的特征和可能性进行训练。典型的机器学习工作流程如下：
1. 在训练数据集上训练模型，在开发集上调整模型，在未见过的测试数据集上测试模型。
2. 使用适当的性能指标，在不同但合适的算法上尝试上述步骤。
3. 选择最合适的模型。
4. 在现实世界数据上测试模型。若结果不理想，重新评估数据和/或模型，可能使用不同的评估指标，重复上述步骤。

我们对机器学习中使用的数据集定义如下：
|数据集类型|定义|
| ---- | ---- |
|训练集|用于学习算法的数据|
|开发集|用于调整模型超参数的数据|
|测试集|用于评估算法性能的数据|
|现实世界集|选定模型将部署的数据|

不同分布的数据集可能对部分或所有数据集的评估指标产生不同影响。若模型不适合相应数据集，评估指标也可能不同。

1.1 机器学习与统计学的区别

在机器学习中，我们将标记数据分批输入机器学习模型，模型通过检查损失（即实际值与预测值之间的差异）逐步改进其结构参数。这种损失作为反馈提供给优化算法，以迭代调整结构参数。训练传统机器学习模型，就是向模型输入数据，使模型学习“最佳”结构参数。机器学习侧重于预测未