回归与logistic regression

参考：7月算法——邹博关于回归的讲义

1:线性回归

线性回归是求一个参数theata ，去拟合大部分样本，线性回归表达式：

                                                                 

2：用极大似然估计解释最小二乘法：

函数值可以写为：

                                                                 

表示误差，根据中心极限定理，是独立同分布的，服从均值为0，方差为某个定值的^2的高斯分布。

                                               

那么，关于误差的似然函数公式为：

                                               

3：高斯的对数似然与最小二乘：

                                     

我们要最大似然，即求J（theata）最小：

                                                 

对J求梯度，求解theata:

                

                         

 

4:因为直接求均矩阵的逆在工程上开销比较大，我们实际代码中一般采用梯度下降算法求解theata的值，

           

梯度方向计算：

         

5:Logistic 回归 

5.1  logistic函数，也称为sigmid函数：

                                                              

因此，logistic回归表达式为：

                                          

sigmid函数有一个特性，其导数g（z）=

                                              

5.2 logistic 参数估计

假定数据分布符合二项分布，

              

5.3 似然函数

                        

              

5.4 梯度下降求解：