Fleurdalis的博客

我们在初中学习线性方程的时候就已经接触过回归的相关概念，在这里简单介绍一下机器学习中的“回归”，机器学习的目的有两个：回归和分类，回归是解决离散数据的预测问题，而分类是为了解决连续数据的预测问题。线性回归是机器学习算法中最简单的算法之一，由线性回归可以衍生出很多其他的算法，例如：lasso回归，ridge回归，logistic回归，softmax回归等。线性回归是监督学习的一种算法，主要思想是在给

我们在初中学习线性方程的时候就已经接触过回归的相关概念，在这里简单介绍一下机器学习中的“回归”，机器学习的目的有两个：回归和分类，回归是解决连续数据的预测问题，而分类是为了解决离散数据的预测问题。线性回归是机器学习算法中最简单的算法之一，它是监督学习的一种算法，主要思想是在给定训练集上学习得到一个线性函数，在损失函数的约束下，求解相关系数，最终在测试集上测试模型的回归效果。线性模型的形式如下

上一节我们推导了线性回归求解参数的过程，然而仅仅掌握理论推导是远远不够的，还需要理解模型的意义。本节主要讨论线性回归与广义线性模型的关系以及线性回归损失函数的意义。我们假设，则有                                           （1）由第一节可知，，，。由此可知，线性回归是基于高斯分布的。在上一节中，我

在使用机器学习方法进行预测时，往往会出现这种情况：训练出的模型在训练集上的效果很好，但是在测试集上的效果很差，这种情况称为过拟合；如果模型本身在训练集上的效果就很差，这种情况称之为欠拟合。为了防止过拟合的现象出现，学者对线性回归进行了优化，于是产生了ridge、lasso还有ElasticNet回归，下面我们分别介绍这三种回归。首先让我们了解一下ridge回归。在线性回归（二）－－线性回归公式

跟着Udacity课程学完了无人驾驶第一个term，本来想深入研究一下机器视觉，但是视觉方向不能很好地与工作项目契合，所以决定先巩固一下传统机器学习算法。这个系列基于《机器学习实战》和《统计学系方法》展开，既有理论推导，又有代码实例，这样督促自己形成完备的知识体系。简介  KNN(k-nearest neighbour)，也成为k近邻算法，是一种最简单实用的机器学习分类算法。该算法本质是通过距离函数