机器学习：模型的容量

【简明扼要地归纳了机器学习模型的容量的含义与影响，全文共2267字，阅读约15分钟】

---

本文我们来简明扼要地探讨机器学习中模型的容量（capacity）。我会收录于我的专栏《深度学习精髓与细节知识合集》中，由于平时比较忙，此专栏也将陆续（缓慢）地记录研究或实践中一点一滴的灵感。

通俗地讲，模型的容量是指它拟合各种函数的能力。比如，模型是3次多项式构成的函数：，其中权重w和偏置b的含义大家应该都很清楚了。那么它拟合函数的能力有：一次函数（w3,w2=0）、二次函数(w3=0)、三次函数(w1,2,3≠0)。如果它是更高次的表达式，显然，它就可以拟合更多阶次的函数。

这里补充讲下，尽管上面举例的模型是输入的三次函数，但输出仍是参数的线性函数。不要以为只有x的一次方才是线性函数。

容量低的模型可能很难拟合数据集。例如你用一个一次函数做线性回归，很显然，复杂分布下的数据你就无法表示。但容量高的模型可能会过拟合（《模型过拟合及模型泛化误差评估》）。