机器学习的基础学习笔记

一、机器学习的概念

1、定义

机器学习（Machine Learning, ML）是让机器具备学习能力的技术，主要是通过寻找函数来完成特定任务。

2、任务类型

回归（Regression）：预测一个数值（如PM2.5浓度）
分类（Classification）：选择一个类别（如垃圾邮件检测）
结构化学习（Structured Learning）：产生有结构的输出（如图像生成或文本生成）

二、回归与分类

回归示例：预测未来某个时间的PM2.5值。模型形式为 𝑦 = 𝑏 + 𝑤 𝑥1 ，其中：

𝑦 ：预测值

𝑥1：已知输入（如前一天的PM2.5值）

𝑏和𝑤：未知参数，通过数据学习得到。

分类示例：邮件是否为垃圾邮件。机器需要选择一个类别，可能有多个选项。

三、机器学习过程

模型定义：建立带有未知参数的函数。

损失函数：定义损失函数 𝐿 ( 𝑏 , 𝑤 )，用于评估模型的预测与真实值之间的差距。

优化：使用优化算法（如梯度下降）调整参数 𝑤和 𝑏，使损失最小化。

四、损失函数

常见损失函数：

平均绝对误差（MAE）： 𝑒 = ∣ 𝑦 − 𝑦 ^ ∣

均方误差（MSE）： 𝑒 = ( 𝑦 ^ − 𝑦 ) 2 

交叉熵（Cross Entropy）：用于分类任务。

五、梯度下降

原理：通过计算损失函数对参数的梯度，更新参数以减少损失。

更新公式：

其中 𝜂 是学习率

图5-1  梯度下降优化的过程

 六、模型评估

训练与测试：将数据集分为训练集和测试集，训练集用于训练模型，测试集用于评估模型性能。
过拟合与欠拟合：需注意模型复杂度，防止模型在训练集上表现良好但在测试集上表现不佳。