Regression

Regression

• 股票预测
• 自动驾驶
• 推荐

Example allpication

预测宝可梦的cp值

1.step1:Model

​ y=b+w·x_cp，定义一个function set里面有大量的b和w的function组合

2.Step2:评估函数的好坏

十个真实数据做散点图

评估function好坏的标准：Loss function L:

损失函数，用某一组function计算与真实值的差距，选取最好的function就是寻找最好的w和b使得损失函数值最小。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DtHUwONq-1658980796750)(/Users/admin/Pictures/c2_p3.png)]

3.Step3 梯度下降

考虑参数w时，计算w对Lost函数的切线斜率

通过微分值移动参数w，移动的幅度根据“learning rate” w₁=w₀- $\eta \frac{dL}{dw}$ 找到w

• 如果两个参数？w,b

1. 随机选取两个参数w₀ b₀
2. 分别计算w,b的值

得到的线性回归函数在测试集上效果不好，于是引入二次项甚至是三次项。但是引入过复杂的model反而会导致在测试集上表现更差。

• 改进Model

通过不同种类的宝可梦采用不同的参数w,b

这样设计还是有误差，说明是否存在其他隐藏因素？

• 正则化

$\lambda$那一项就是正则调整，加上这一项就意味着我们期待找到一个尽可能小的w_i，因为我们期待一个更"平滑的function"，就是对输入的扰动不敏感的function，这样应对参数的改动有更稳定的表现