Regression（Part 2）

How to do better

需要重新设计model
在gradient descent可以找到best function的前提下，function所包含的项的次
数越高，越复杂，error在training data上的表现就会越来越小；但是，我们关心的不是model在training data上的error表现，而是model在testing data上的error表现。
在本例中，之前我们的model只考虑了宝可梦进化前的cp值，但实际上除了cp值外，还受到物种的影响，可根据不同的物种，设计不同的linear model

考虑所有可能有影响的参数，设计的最复杂的model很大概率会发生
overfitting

regularization解决overfitting

regularization可以使曲线变得更加smooth，training data上的error变大，但是 testing data上 的error变小。

regularization是在原来的loss function的基础上加上了一项 ，就是把这个model里面所有的平方和用λ加权；我们没有把bias——b这个参数考虑进去的原因是bias的大小跟function的平滑程度是没有关系的，bias值的大小只是把function上下移动而已。
总结：我们喜欢比较平滑的function，因为它对noise不那么sensitive；但是我们又不喜欢太平滑的function，因为它就失去了对data拟合的能力；而function的平滑程度，就需要通过调整λ来决定。