12、决策树与支持向量机：从医学诊断到行人检测

决策树与支持向量机：从医学诊断到行人检测

决策树的应用与优化

决策树在机器学习中是一种强大的工具，可用于分类和回归任务。在使用决策树进行医学诊断时，调整模型参数能显著提升性能。例如，增加 min_samples_leaf 虽会使训练得分下降，但测试得分可能会上升。当 min_samples_leaf 取值在 4 到 8 之间时，测试得分达到最大值 95.6%，相比之前提高了 0.9%。这表明，通过微调模型参数，能有效优化模型性能。

在调整模型参数时，通常会看到训练得分和测试得分呈现不同的变化趋势。训练得分往往与参数呈单调关系，而测试得分存在一个“最佳点”，超过该点后测试得分会下降。

除了分类任务，决策树还可用于回归。以拟合正弦波为例，使用 scikit-learn 库，步骤如下：
1. 生成数据 ：

import numpy as np
rng = np.random.RandomState(42)
X = np.sort(5 * rng.rand(100, 1), axis=0)
y = np.sin(X).ravel()
y[::2] += 0.5 * (0.5 - rng.rand(50))

2. 创建回归树 ：

from sklearn import tree