P3 Regression：Case Study

P3 Regression：Case Study

• Regression：回归

• Examole Application
  • Estimating the Combat Power (CP) of a pokemon after evolution
    • Output：Scalar

Step1：Model

• Assumption：y = b + w × x，w,b是任意值的参数
• Linear Model：线性回归模型
  • 通过Training Data判断Function的合理性

Step2：Goodness of Function

• Training Data:10 pokemons

有了Training Data就可以定义一个Function的好坏

• 定义另外一个Function，定义为Loss function L：
  • Input：a function
  • Output：how bad it is（用多不好来描述
  • Loss function L：衡量一组参数的好坏

• Estimation error：真正的数值再减去预测的数值再取平方，最后再求和

• 红色代表最差，越蓝代表越好

Step3：Best Function

Gradient Descent

• Consider loss function L(w) with one parameter w:
  • ()

• Negative:切线的斜率是负的，往右边Loss会减小
• Positive:切线的斜率是正的，往左边Loss会减小

• 注：为什么是减号：微分如果是正的w要减小，微分如果是负的w要增加
• 重复当前的步骤

• Linear Regression没有Local optimal
  • Local optimal：局部最值
  • Global optimal：全局最值

Two Parameters

• 等高线的法线方向

Worry

• Linear Regression No local optimal

• 随便选一个起始点，最后找出来的是同一组参数

• 对w的偏微分和对b的偏微分

• Average Error on Training Data

• testing data

• do better
  • 重新设计Model
  • 一阶不够升阶考虑二次项
  • 所真正关心的是Testing Average Error

• 考虑更复杂的Model
  • 引入三次方

• 考虑四次方
  • 结果更复杂的Model，对于Training Data有更好的Average Error，但是对于Testing，The results become worse

• 考虑五次方
  • 结果不合理

Contrast Model

• Training Data
• Testing

• More Complex Model yields lower error on training data：越复杂的Model能找出trainging data error越小的function
• 越复杂的Model不一定会在testing data上得到更好的结果

• This is Overfitting
  • **Overfitting：**过适
  • Select suitable model：选择一个最合适的
  • 隐藏的因素：不同的物种，不同的Linear Function

• 分了不同的种类后的error变得更低

• 其他隐藏的参数
  • Redesign the Model Again

• Overfitting
  • Regularization：redesign loss function

• smooth function：对于input的改变不敏感，所以w参数要小

• 做Regularization的时候不用考虑bias，bias对于平滑程度没有影响

Conclusion&Following Lectures

• Gradient descent
  • Following lectures:theory and tips
• Overfitting and Regularization
  • Following lectures:more theory behind these