机器学习之线性回归

     根据网上某个大牛的说法，机器学习的三个要素分为： 模型，策略， 算法

首先，对于一个问题，我们用数学语言来描述它，然后建立一个模型，例如回归模型或者分类模型等来描述这个问题.

其次，建立求解策略，比如，通过最大似然估计，最大后验概率，最小化分类误差等等建立模型的代价函数，将其转化为一个最优化问题.

通过求解这个最优化问题，得到模型的参数。 求解最优化问题的策略有，梯度下降法等等。

最后，确定求解策略之后，便是编程实现了。

线性回归问题

首先建立模型：

         模型很简单 

        

然后是求解策略：

          建立代价函数：

       

         关于求解策略：

         可以使用梯度下降法，批梯度下降法，增量梯度下降。本质上，都是偏导数，步长/最佳学习率，更新，收敛的问题。