本文深入探讨了机器学习中的关键概念，包括特征空间的理解、BOW模型在图像特征表示的应用、算法模型的假设必要性、过拟合的本质、SVM在m<n情况下的解决方案、最小二乘法与最大似然估计的等价性、损失函数的引入及其在求解线性方程组无解问题中的作用，以及常见的回归损失函数和优化算法。
关于数据
特征空间
原来图像特征的表示也可以理解为 BOW（bag of words）
博文：机器学习中的特征空间
原 PPT 资源：点击
关于算法模型
为什么需要假设？因为实际不存在完美的预测模型。
最小二乘法 是线性模型的通用优化方法，
梯度下降只不过是其中一种，为了解决求解不了方程的时候（高维的线性模型甚至非线性模型，目标函数往往并不是全局凸函数，因此不能继续使用导数为零的方式进行最优解求解）
过拟合的问题本质上是方程组的解有无穷多个，而算法模型选择了其中较为复杂的一种。
根据奥卡姆剃刀原理，越简单的模型在未知的样本上的泛化能力越好。
SVM解决了线性模型解决不了的，当m<n时候的情况，
当随机噪声服从正态分布时，最小二乘与最大似然等价。
损失函数（与距离度量）
为了解决基于原始输入样本数据构成的线性方程组无解的问题，我们引入了损失函数，之后问题转换为了求解损失函数的参数解。
扫一扫
5421
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
