梯度优化算法在机器学习中的应用

##以下为最优化算法课程作业##
从广义上来说，机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。相比于人类的学习相差不大，例如小孩子在识别猫和狗的时候，父母指着动物或动物的图片，告诉小孩动物的特点并给予结果，例如：尖耳朵短鼻子等特征传递给小孩，并告知结果，小孩在自己分辨动物的时候会根据自己的经验去判断，得出结果，这就是学习与训练的基本定义。于是从实践的意义上来说，机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。
机器学习中最重要的一个概念是损失函数(cost function)，是用来估计模型预测值的h(x)(假设函数hypothesis function)和真实值Y的不一致程度。损失函数越小，说明模型的鲁棒性越好。损失函数是经验经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的风险结构包括了风险项和正则项，通常如下所示：

为的是找到使目标函数（损失函数）取得最小值的θ。通常对于损失值的计算，为了得到全局最小值，我们通常通过高斯极大似然估计构造一个凸函数来计算。目前学习了最基本的机器算法有线性回归和支持向量机算法，无约束优化算法使非常重要的基础处理数据的方法在机器学习中。

1应用案例：

梯度下降在线性回归方向的应用，线性回归是机器学习的最基本的应用之一，基本套路是我们交给机器一堆数据，然后告诉他什么样的学习方式是对的（目标函数），然后让目标函数朝着想要的方向发展。梯度下降作为最基本的非约束条件下的优化算法，