机器学习|1.线性逻辑回归

一.简单的线性回归

1.线性模型：

        给定由d个属性描述的示例 x=（x1；x2；...；xd），其中xi是x在第i个属性之上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数，即

                                        ​​​​​​​        

        一般用向量形式写成

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ,模型得以确定

2.简单线性回归：

  围绕一个响应变量和解释变量的某个特征之间的关系进行建模。

   （1）用损失函数评价模型的拟合性：真实值 - 计算值。

   残差平方和（RSS）：通过最小化残差的和来生成最佳预测值

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

   其中是观测值，是预测值

  （2）最小二乘法：现在有一个损失函数，可以通过求这个函数的极小值来找出模型的参。简单的线性回归方程，目标是通过求代价函数的极小值，求解的值。

        ​​​​​​​        ​​​​​​​        ​​