机器学习关键字

Overfitting(过拟合)

训练误差与测试误差差别很大，即模型的泛型能力比较差，可以通过regularization（简单的可以正则化比如加平方项来使得模型平滑，不会过度去匹配每一个点），同时可以增加数据集来改善（受于实际限制）

Underfitting(欠拟合)

模型bias比较大，模型较差，可以尝试更复杂一点的模型，加入更多的特征点，也就是增加更多的变量来提高模型的准确率。

Gradient Descent(梯度下降)

对lost function求各个变量(一般是模型的参数)的偏导数，写成一个向量的形式，这个向量就叫梯度，然后初始化一个步长，更新模型的参数，更新规则就是当前参数减去步长乘以对于该变量的偏导数，依次计算每一个参数，得到新的一组变量值，然后再次迭代。