机器学习笔记（2019-4）

6、分类与回归

分类模型： 是指输出连续化的；目的是寻找决策边界；
回归模型： 是指输出离散化的；比如天气预测问题，根据之前的天气，预测出之后几天的天气；目的是寻找最优拟合；

5、决策树

决策树方法就是一种根据各种特征（其中这些特征的权重是不同的）来做出决策的一种方法；

比如你要买电脑，特征有cpu， gpu， 内存等等特征， 那么这些不同的特征对你买不买的影响是很大的，很多人首先看重的是CPU的好坏，然后之后是GPU或者内存；这样下来的决策，就形成了类似数的结构（也是使用非线性方法解决问题的一个模型）

1，梯度下降

含义：把求损失函数最小值的过程中，需要一个递归求最优解的过程，在这个过程中，一般采用梯度下降，即求出函数的最佳斜率，使y值使用最少的步骤下降到最低点。
数学含义： 求解一个可导函数，使得损失函数在最低点得到解的过程。

中间函数：（其中Q1为移动的距离点1）


如果一个学习速率太大，那么很可能会错过最佳值； 如果过小，就会导致下降太慢，耗费大量时间；

1.1 复习积分

d（x^2）/dx ===⇒ 2x
规则： 导数：即为求一个函数在某处的斜率；
在求导的过程中， x的次幂写在最前面，然后x的次幂减一后写下来；

相关文章：深入浅出–梯度下降法及其实现[https://www.jianshu.com/p/c7e642877b0e]

学习速率体验例子： 谷歌机器学习简介

我从别的文章找到一张图：

识别的原理是这样的，把一个数字的图片视为有n*n个像素点组成的，这些像素点如果是黑色的，则为1-255的范围，如果不是就为0，这样在计算交叉熵的时候， 0的像素点就不会影响结果，即为0；

2、交叉熵

公式：
y:输出， label：标签

-sum(label * log(y))

[0,0,0,0.6] * [0.1,0.2,0,1]  = -log(0.6)

3、监督学习

就是在最开始就定义了正样本或者负样本的学习方法，前提是已经有了大量的数据可以供程序学习，让程序判断是正是负，最后得出正 | 负的结果；比如预测房价；

4、无监督学习

不知道什么是正样本或者负样本的学习方法；比如新闻网站在网上爬取新闻，将其归类；