谢小小XH

损失函数和经验函数总结

机器学习中的距离

分类问题的性能度量

Adaboost算法

错误来源分析

概率分类思想

正则化思想

分类回归树CART

决策树算法

随机森林的主要思想

集成学习,bagging,boosting

常用无监督学习的聚类方法

一.迭代思想这里要写的其实跟主题梯度下降是没有关系的。但是它能够让非常新的新手体会循环往复的迭代修改一个或者多个值到最优的思想。所以这里把这个列到最开始，随便看看体会一下就行了。假设我们现在要来求解一个线性方程组, 这个方程组很容易,可以用各种方法来解.精确的解容易求出来为。 现在我们把原来的方程记为另外一种形式： 写为向量形式为,其中 现在任意取初始值,比如,然后将这个初始值带

这篇笔记会将几本的线性回归概念和最小二乘法。其他的会在下一篇扩展。 在机器学习中,一个重要而且常见的问题就是学习和预测特征变量(自变量)与响应的响应变量(应变量)之间的函数关系 这里主要讨论线性函数:在特征和响应之间学习线性关系。 这篇文章是入门基本概念的一片文章，会引导你关于一些模型的基本过程是怎样的。这里需要一些python和数学的基础知识。一.线性建模以奥运会男子100米金牌需要的时间数

这本笔记的参考书目和课程为： 《机器学习基础教程》：机械工业出版社 模式识别与机器学习(PRML) 统计学习方法:清华大学出版社,李航 Deep Learning:Ian Goodfellow,Yoshua Bengio,Aaron Counrville 斯坦福《机器学习公开课》吴恩达之后的内容都是来源于这几本书的学习和一些反思，后面就不强调了。这里的机器学习默认是统计机器学习，后面

一.再看线性回归之前我们选择线性回归的时候，只是认为那些数据看上去很符合线性的样子，选择最小平方损失函数的时候，也是直接提出来的，没有考虑过为什么会是这个样子。接下来就从概率的角度来解释这些问题。 首先假设目标变量和输入与下面这个方程相关： 其中是一个误差项（error term），来捕捉一些我们建模的时候故意或者无意忽略但是对于预测有影响的因素。有时候也可以作为一个随机的噪声（random

一.指数分布族在前面的笔记四里面，线性回归的模型中，我们有，而在logistic回归的模型里面，有。事实上，这两个分布都是指数分布族中的两个特殊的模型。所以，接下来会仔细讨论一下指数分布族的一些特点，会证明上面两个分布为什么是指数分布族的特性情况以及怎么用到其他的模型上面去。 如果一类分布能够写成如下的形式，那么这个分布就能够被划归到指数分布族里面。

KNN原理和实战

信息熵，联和熵，条件熵，相对熵，互信息

拉格朗日对偶的一些结论