53、打造更优的学习器

打造更优的学习器

1. 提升学习算法性能的策略

在体育领域，当一支运动队未能实现目标时，比如未能获得奥运金牌、联赛冠军或打破世界纪录，就需要寻找可能的改进方法。同样，在机器学习中，若想让算法表现更出色，也需要类似的策略。

提升机器学习算法性能的方法有多种，主要包括：
- 系统地搜索最优训练条件，实现模型性能调优的自动化。
- 将多个模型组合成团队，协同解决复杂的学习任务。
- 运用并区分流行的决策树变体，这些变体因出色的性能而受到广泛关注。

不过，并非所有方法都适用于所有问题，但在机器学习竞赛的获胜方案中，往往能找到其中至少一种方法的应用。为了在竞争中脱颖而出，我们需要掌握这些技能。

2. 调整现成模型以提升性能

有些机器学习任务可以用现成的模型轻松解决，无需花费大量时间迭代和优化模型。但许多现实世界的任务往往更加复杂，需要学习的底层概念极为复杂，涉及众多微妙的关系，或者问题受到大量随机变量的影响，难以从噪声中提取有效信号。

开发能在这类挑战性问题上表现出色的模型，既是一门科学，也是一门艺术。有时，凭借直觉能帮助我们找到性能提升的方向；而在其他情况下，则需要采用反复试验的强力方法。利用机器不知疲倦的优势，自动化程序可以更轻松地搜索众多潜在的改进方案。但要注意，人力和计算时间并非总能相互替代，创建精细调整的学习算法也会带来一定的成本。

以预测银行贷款违约为例，之前使用现成的 C5.0 决策树构建分类器，虽然分类准确率达到了 82%，但进一步分析发现，kappa 统计量（更适合衡量不平衡结果的性能指标）仅约为 0.294，这表明模型的实际表现并不理想。接下来，我们将重新审