9、机器学习算法全面解析

机器学习算法全面解析

1. 机器学习基础概念

1.1 参数和非参数算法的使用时机

• 参数算法 ：将函数简化为已知形式，并从训练数据中学习函数系数。对数据有较强假设，学习速度快，所需数据量少，适用于需要易于解释结果的场景。
• 非参数算法 ：使用可变数量的参数，如 k - 近邻、神经网络和决策树等。适用于数据量较大且对性能要求较高的场景。

1.2 机器学习算法的工作原理

监督学习是从带标签的训练数据中推断函数的计算机任务，可用公式 $Y = f(x)$ 表示，即“输出 = 函数(输入)”。输入和输出通常是向量形式，机器学习旨在通过算法理解人类决策过程，用于分类和预测任务。常见的实际应用包括欺诈检测、疾病诊断和语音识别等。

1.3 机器学习项目的定义

Tom Mitchell 对机器学习的定义为：“一个计算机程序，如果它在任务 T 上的性能（由性能度量 P 衡量）随着经验 E 的增加而提高，那么就说它从经验 E 中学习关于某类任务 T 和性能度量 P 的知识”。这一定义有助于我们明确机器学习项目中的数据收集与利用（E）、任务（T）以及结果评估（P）。
| 要素 | 说明 |
| ---- | ---- |
| 任务（T） | 指机器学习模型要完成的工作，如机器人吸尘器的任务是清扫地面，任务常可分解为更小的任务。 |
| 性能（P） | 是对机器学习模型能力的定量衡量，通常使用成本函数计算模型在任务上的准确性，也可用错误率衡量。学习方法旨在最小化错误率，避