18、机器学习分类器的构建与评估

机器学习分类器的构建与评估

在机器学习领域，分类任务是一项重要的工作。本文将详细介绍如何构建和评估分类器，以及如何处理过拟合和高偏差等问题。

决策树分类器的评估

我们可以通过计算混淆矩阵和卡帕统计量来评估决策树分类器的性能。以下是相关代码：

(defn ex-4-39 []
  (let [data (-> (load-data "titanic.tsv")
                 (i/transform-col :age age-categories)
                 (:rows))
        tree (decision-tree :survived [:pclass :sex :age] data)]
    (confusion-matrix (map :survived data)
                      (map (partial tree-classify tree) data))))

得到的混淆矩阵如下：
| | n | y |
|—|-----|-----|
| n | 763 | 46 |
| y | 219 | 281 |

从混淆矩阵中可以看出，分类器产生了大量的假阴性结果（219个）。接下来计算卡帕统计量：

(defn ex-4-40 []
  (let [data (-> (load-data "titanic.tsv")