机器学习与智能优化 之 学习有道

要点

机器学习的目标是用一组训练样例去实现一个系统，它对训练过程未见且环境相同的新样本同样有效。

机器学习学习的是通过自动最小化训练集误差的方法为不定模型的自由变量确定一组合适的值。可能通过修改来防止模型过于复杂以期提高正确泛化的机会。

系统的输出值可以是一个类别（分类）也可以是一个值（回归）。在一些情况中返回的是一个类别的概率以增加使用的灵活度。

准确的分类器可以在没有任何知识启发的帮助下建立，只要有充足且具有代表性的样本数据就够了。这是个激动人心的变化，它极大地促进了在商业环境中使用机器学习。

机器学习很强大但也有一个严格的方法（类似机器学习的“戒律”）。千万保证，绝对不要用训练集来估计性能——这是不可饶恕的罪过：切记重复使用验证数据将会得到乐观的估计。如果样本稀少，使用交叉验证的方法来展示你是一个专家级的机器学习使用者。

为了确保可靠，进入机器学习的天堂，留出一些测试样例并仅在最后的性能测试时使用一次。

测量模型性能的方法不只一种，不同的错误会有不同的代价。准确率，精确度和召回率是一些二值分类中的概率，一个混淆矩阵可以展示多分类问题下的全貌。