线性回

一、线性回归

    回归：Y变量为连续性数组  如：房价，降雨量······

    回归分析是用来建立方程模拟两个或者多个变量之间如何关联。

    线性回归分为简单线性回归与多元线性回归。主要区别在于自变量的数目。

    1、简单线性回归

        简单线性回归只有一个自变量（x）和一个因变量（y），两个变量的关系用一条直线模拟。求解最优的标准就是，使点集(x,y)与拟合函数间的误差（平方误差）最小

        简单线性回归模型：h(x)=b1x+b0

        b1=∑(xi-x)(yi-y)/∑(xi-x)²

     b0=y-b1x

      2、多元线性回归

            假设一个数据集有n个自变量，也可以说成n个属性，x=(x1;x2;...;xn)x=(如果使用线性模型去拟合则有

hθ(x)=θ1x1+θ2x2+...+θnxn+b

            令b=θ0x0，其中x0=1，那么，原来的目标函数就可以表示为

hθ(xi)=θ0x0+θ1x1+θ2x2+...+θnxn

           用矩阵的方式表示为

hθ(xi)=θTxi,i=0,1,...,n

            即

y=θTX

            其中x是一个m*(n+1)的矩阵

X=⎛⎝⎜⎜⎜⎜⎜x11x21⋮xm1x12x22⋮xm2⋯⋯⋱⋯x1nx2n⋮xmn11⋮1⎞⎠⎟⎟⎟⎟⎟

当∑(hθ(x(i))−y(i))²最小，即平方误差最小时，有最优解

二、逻辑回归

1、逻辑回归是用于处理因变量为分类变量的回归问题

        分类：Y变量为类别型，如：颜色类别

2、逻辑回归是一种分类算法。分类，也就是把一个群体（或问题，或数据）分为几个类别

3、为了能表示预测的概率，我们把输出值限制在0和1之间我们的分类器的输出值在 0 和 1 之间，因此，我们希望想出一个满足某个性质的假设函数，这个性质是它的预测值要在 0 和 1 之间。

4、逻辑回归模型的假设为   hθ(x
)=g(θTX)

      逻辑回归模型是    P(y=1|x;θ)=11+e−z=11+e−(θ0+θ1x1+θ2x2+θ3x3+θ4x4)=11+e−θTx

个人认为：逻辑回归与无监督学习类似。根据数据或者物体本有的特征进行分类

5、实例：  鸢尾花数据集

        (1、构建的一个线性回归模型，将线性模型进行一下映射，从而能用于分类。 

        (2、在模型确定后，需要用一个损失函数或代价函数来度量预测错误的程度。

        (3、求解模型中的参数θ，为保证找到全局最优解，并使得求解过程非常的高效，使用梯度下降法

三、梯度下降

个人理解：每一个阶段都进行判断，来确定从哪个方向变化会更迅速的到达局部最小值。

梯度下降法的意义在于函数的值沿着导数的反方向下降的最快。梯度下降法有批量梯度下降和随机梯度下降。

在梯度下降法中，参数同时更新。也就是θi会向着梯度最小的方向进行减少。一直迭代下去，最终得到局部最小值。其中a是学习效率，它决定了我们沿着能让代价函数下降程度最大的方向向下迈出的步子有多大。

学习效率过小，到达局部最小值过于缓慢。

学习效率过大，会越过局部最低点，很难到达，甚至可能离局部最小值越来越远。