李宏毅DL视频课01-Regression

Regression

1. Model
2. Goodness of function:
   
3. Grandient Descent
   
   
   ps:最下面一行应该是w1减去w1的偏微分，b同理。
   梯度：
   老生常谈的“局部最优”

这种情况不会出现local optimal，因为他们的等高线是一样的。
偏微分求解过程：


如果error值太大，可以换model.但要注意overfitting问题

error值过大时，redesign function：加入一个平滑项

为了使wi参数更小，即变化幅度小，这样函数曲线平滑，对输入不敏感，可以减少噪声的影响。


λ越大，平滑项考虑越大，曲线越平滑。函数更倾向考虑w本来的数值，减少考虑error；