深度学习 回归问题

1. 梯度下降算法

深度学习中, 梯度下降算法是是一种很重要的算法.

梯度下降算法与求极值的方法非常类似, 其核心思想是求解 $x^{\prime }$, 使得 $x^{\prime }$ 在取 $x^{\star }$ 时, 可以使得 $loss函数$ 的值最小.

其中, 在求解 $x^{\prime }$ 的过程中, 采用的是迭代的方法, 不断迭代逼近 $ x^{\star}$. 最基本的公式为:
$$x^{\prime }=x-lr\times ▽x$$

其中 $▽x$为 $los{s}^{\prime }{|}_x$ , $lr$ 为学习率, 以上述公式为基础，发展出了更多的求解器.

2. 噪声

在现实世界中, 数据总是会存