最小二乘法

       为什么要了解最小二乘法？因为在机器学习中，求解最优化问题是很重要的数学部分，而最小二乘法又是求解最优化问题中非常有名和有效的方法之一。相信即使来自于不同的学科，但是只要属于理工科专业的同学，很多人都学习过回归，而学习回归的过程中应该听说过最小二乘法。不过，我也相信，大部分非数学，统计专业的同学对最小二乘法的数学原理可能并不熟悉（比如我）。

       在具体介绍最小二乘法之前，我们需要一个先导知识：导数和偏导数。不过我假定导数的基本知识大部分同学是具有的。。。（要是没有，查一下资料也蛮简单的），所以只补充一下偏导数的知识（好吧，主要是我不会。。。）。

偏导数

       我们以一个例子来了解偏导数。首先，举一个一元二次函数Y=ax²+b为例。大部分同学应该都知道对于这个函数来说y对x求导，dx/dy得到的是这条曲线的斜率，函数的极值点处dx/dy为0。但是如果我们的函数是二元函数，该如何求导数呢。对于给定函数

         f = x² + xy + y²

        我们可以绘制出它的函数图像。