机器学习小tip

偏差与方差

模型的偏差，指的是模型预测的期望值与真实值之间的差；
模型的方差，指的是模型预测的期望值与预测值之间的差平方和；
偏差用于描述模型的拟合能力；
方差用于描述模型的稳定性。

什么叫支持向量

训练数据集中与分离超平面距离最近的样本点的实例称为支持向量
更通俗的解释：
数据集种的某些点，位置比较特殊。比如 x+y-2=0 这条直线，假设出现在直线上方的样本记为 A 类，下方的记为 B 类。
在寻找找这条直线的时候，一般只需看两类数据，它们各自最靠近划分直线的那些点，而其他的点起不了决定作用。
这些点就是所谓的“支持点”，在数学中，这些点称为向量，所以更正式的名称为“支持向量”。

信息增益

经验熵是指数据集D的混乱程度，经验条件熵是在特征A的条件下数据集D的无序程度，两者作差即为信息增益，信息增益越大说明在选择特征A时经验条件熵越小，数据集混乱程度越低