【机器学习】 -- 三要素：模型，学习准则和优化算法

最新推荐文章于 2024-08-12 15:15:34 发布

原创

最新推荐文章于 2024-08-12 15:15:34 发布 · 1.8k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #神经网络 #算法

本文介绍了机器学习的基础概念，包括模型的定义，如线性模型和非线性模型，以及学习准则，如期望风险和损失函数。优化算法部分讲解了梯度下降法的几种变体，如批量梯度下降、随机梯度下降和小批量随机梯度下降，并提及了超参数优化和防止过拟合的策略。内容涵盖了从模型选择到训练过程的关键要素。

模型

学习准则

优化算法

模型

对于一个机器学习的任务，要明确输入空间 $x$ 和输出空间 $y$ ，不同任务的区别在于输出空间的不同；在二分类问题中： $y = \left \{ +1,-1 \right \}$ ,在c类问题中： $y = \left \{ 1,2,3,...c \right \}$ ;在回归问题中： $y = R$ ;

输入空间 $x$ 和输出空间 $y$ 构成一个样本空间，对于样本空间中的样本 $\left ( x,y \right )\epsilon X\times Y$ ,确定x 和y 的关系用真实映射函数 $y = g(x)$ 或者真实条件概率分布 $p_{r} (y|x)$ 来表示。机器学习的目标就是找到一个模型来近似真实映射函数 $y = g(x)$ 或者真实条件概率分布 $p_{r} (y|x)$ 。