李宏毅机器学习——回归定义和应用例子

回归定义

Regression 就是找到一个函数 function，通过输入特征 x，输出一个数值Scalar。

应用举例

1. 股市预测（Stock market forecast）
   输入：过去10年股票的变动、新闻咨询、公司并购咨询等
   输出：预测股市明天的平均值
2. 自动驾驶（Self-driving Car）
   输入：无人车上的各个sensor的数据，例如路况、测出的车距等
   输出：方向盘的角度
3. 商品推荐（Recommendation）
   输入：商品A的特性，商品B的特性
   输出：购买商品B的可能性
4. Pokemon精灵攻击力预测（Combat Power of a pokemon）：
   输入：进化前的CP值、物种（Bulbasaur）、血量（HP）、重量（Weight）、高度（Height）
   输出：进化后的CP值

模型步骤

step1：模型假设，选择模型框架（线性模型）
step2：模型评估，如何判断众多模型的好坏（损失函数）
step3：模型优化，如何筛选最优的模型（梯度下降）

Step 1：模型假设 - 线性模型

一元线性模型（单个特征）（这里以宝可梦的cp值举例）
以一个特征 xcp为例，线性模型假设 y=b+w⋅xcp，所以 w 和 b 可以猜测很多模型：

虽然可以做出很多假设，但在这个例子中，显然 f3:y=−0.8−1.2⋅xcp的假设是不合理的，不能进化后CP值是个负值吧。
多元线性模型（多个特征）
在实际应用中，输入特征肯定不止 xcp这一个。例如，进化前的CP值、物种（Bulbasaur）、血量（HP）、重量（Weight）、高度（Height）等，特征会有很多。

所以我们假设 线性模型 Linear model：y=b+∑wixi

注意：接下来的内容需要看清楚是【单个特征】还是【多个特征】的示例

Step 2：模型