机器学习基础

• 机器学习（Machine Learning，ML）领域分类：回归（regression）、分类（classification）和结构化学习（structured learning）。
  • 回归：假设要找的函数的输出是一个数值，一个标量（scalar），这种机器学习的任务称为回归。。举个回归的例子，假设机器要预测未来某一个时间的 PM2.5 的数值。机器要找一个函数 f，其输入是可能是种种跟预测 PM2.5 有关的指数，包括今天的 PM2.5 的数值、平均温度、平均的臭氧浓度等等，输出是明天中午的 PM2.5的数值。
  • 分类：分类任务要让机器做选择题。人类先准备好一些选项，这些选项称为类别（class），现在要找的函数的输出就是从设定好的选项里面选择一个当作输出，该任务称为分类。
  • 结构化学习：机器不只是要做选择题或输出一个数字，而是产生一个有结构的物体，比如让机器画一张图，写一篇文章。这种叫机器产生有结构的东西的问题称为结构化学习。
• 一些概念
  • 领域知识（domain knowledge）：例如预测某个视频的观看次数，也许今天的观看次数，总是会跟昨天的观看次数有点关联，所以把昨天的观看次数，乘上一个数值，但是总是不会一模一样，所以再加上一个 b 做修正。得到y = b + w ∗ x1。
  • 参数（parameter）：b 跟 w 是未知的参数。
  • 模型（model）：带有未知的参数的函数称为模型。模型在机器学习里面，就是一个带有未知的参数的函数。
  • 特征（feature） ：特征x1 是这个函数里面已知的。
  • 权重（weight）：w 是未知的参数，称为权重。
  • 偏置（bias）：b 是未知的参数，称为偏置。
  • 损失（loss）：损失也是一个函数。这个函数的输入是模型里面的参数，模型是 y = b + w ∗ x1，而 b 跟 w 是未知的，损失是函数 L(b, w)，其输入是模型参数 b 跟w。输出表示模型算的估测值和真实值之间的差距。L值越小说明模型越好。
  • 标签（label）：在损失函数中的真实值就是标签。
  • 回归模型的误差，误差越小越好
    • 平均绝对误差（Mean Absolute Error，MAE）：误差e为：e = |yˆ − y|，其中yˆ为估测值，y为真实值。
    • 均方误差（Mean SquaredError，MSE）：e = (ˆy − y)2。
    • 交叉熵（cross entropy）：
    • 误差表面（error surface）：二维的话就是等高线图，例如下图，偏红色系，代表计算出来的损失越大，就代表这一组 w 跟 b 越差。如果越偏蓝色系，就代表损失越小。

• • 梯度下降（gradient descent）：对未知参数求微分寻找最优解，每次让未知参数移动一小段步伐，寻找最优解。

• • • 学习率（learning rate）：η 也会影响步伐大小。学习率是自己设定的，如果 η 设大一点，每次参数更新就会量大，学习可能就比较快。如果 η 设小一点，参数更新就很慢，每次只会改变一点点参数的数值。
    • 超参数（hyperparameter）：在机器学习中需要自己设定，不是机器自己找出来的，称为超参数。
    • 全局最小值（global minima）：全局让损失最小的值。
    • 局部最小值（local minima）：局部让损失最小的值。