bias和variance分析

Bias and variance tradeoff is everywhere

• 文献中bias和varience常常出现，为了混淆，特别做一次对比，帮助记忆。
• 核心是有切当的模型复杂度，使得训练误差和测试误差得到最佳平衡，换一个说法就是欠拟合和过拟合的平衡到处都需要考虑。

联想记忆

• bias短，对应下图的直线长度也短，就是欠拟合，也就是偏差太高。
• variance长，对应下图的曲线长度特别长，就是过拟合，也就是方差太高。
  

引用文献中的一句话：

Random Forests results in a greater tree diversity ,which trades a
higher bias for a lower variance than DecisionTree, generally yielding
an overall better model.

意思就是指，相比于决策树，随机森林用提升了偏差的代价，降低了方差，减少了过拟合（决策树的缺陷之一）。

多看几个图，帮助理解记忆：