2.Regression-Case Study

最新推荐文章于 2022-01-10 12:59:15 发布

原创最新推荐文章于 2022-01-10 12:59:15 发布 · 261 阅读

0 ·

CC 4.0 BY-SA版权

深度学习_李宏毅课程专栏收录该内容

30 篇文章

订阅专栏

博客围绕回归问题展开，以估计宝可梦进化后的CP值为例，介绍了选择线性模型、评估模型好坏、用线性代数或梯度下降法找最佳函数的过程。还指出结果存在预测不准问题，会出现过拟合现象，可通过增加数据优化。此外，考虑了物种、重量等隐藏因素，还提及修改损失函数进行正则化。

回归问题：

The output of the target function f is “scalar”.

课程用例说明：

针对的问题：估计pokemon进化之后的CP值（战斗力），来讲解什么是Regression

如上面图中所示，我们的目标是在函数‘f’中，input一只宝可梦，output他进化后的cp值。那么寻找这个函数 f 就成了问题的关键。

Step1：选择模型

注意：现只考虑一个参数即当前CP值

建立模型，比如我们就在这里建立一个Linear model：

可见，不同的b、w，得到的 f 不尽相同，而下面，我们就要找到最能契合要求的一个 f。

Step2：模型好坏

可以看到，当我们将准备好的training data（已知10个宝可梦的进化情况），建立一个二维坐标轴。

通过上图可以看出，似乎有一个函数能够拟合这些坐标点，而这就是我们想要的，为了选出最契合的 f ，我们要建立一个Loss function L ，也就是函数的损失函数。

Loss function L
input	a function
output	how bad it is

如果我们将 f 的 w 和 b 作为两轴，则在下图中每一点都代表一个 function f ，而颜色代表output的大小，也就代表该function f 参数的好坏。易理解，smallest点做对应的函数 f 就是我们想要的。

Step3：最佳函数/模型

我们刚刚提到最拟合的 f ，他可能是 y = 0.6x +0.8，这个就叫做best function，那么我们该用什么方法在Loss Function下找到它呢？这个L(w，b）smallest该如何计算呢？

首先容易想到的，在本案例中，我们可以用线性代数的基本公式来直接计算出最佳w和b。

除了这种方法，当特征值非常多时，我们就要用到梯度下降法来进行计算。

当我们在L（w）的二维平面中时，我们必须要找到函数的最低点。

首先随机选取一个点w0，计算微分也就是斜率，如果为正，则减小w(w左移)，如果为负，则增大w(w右移)。而这有另一个问题，每次要增加或减少多少w值呢，有两个因素影响。第一，即微分值，如果微分值很大或很小，表示此处非常陡峭，那么证明距离最低点还有很远的距离，所以移动的距离就很大。第二个因素是我们事先自主定义的常数项 η 值(学习率)，即步长。

按照这个模式，不断重复，经过非常多的参数更新后，能达到一个最低点。

当我们有多个feature时，即不仅有 w 还有 b ，同样不会影响梯度下降过程，展示出来就是这样的：

说到这里大家可能会担心，会不会产生下图左半部分的哪种情况，即不同的起始位置，找到的最低点是不一样的，那么这里的解释是，在我们案例的Linear regression中，不会出现这种可能性，而全都是右图哪种形式，原因是其为线性的。

通过这种方式，我们就能得到想要的 function f ，来解决我们的需求。

How’s the results?

通过上面的计算，我们成功得到了一个如图函数 f，接下来就会发现，并不是所有的点都能拟合函数，这就会造成很大的预测不准的情况，通过Loss Function也能看出，最优解的值依然很大，测试数据的表现也不好，所以我们就要想办法优化。Average Error on Testing Data＞Average Error on Training Data,这个很容易理解，因为model就是根据Training Data拟合出来的。