3、机器学习基础概念与算法全解析

机器学习基础概念与算法全解析

1. 评估指标与数学基础

1.1 评估指标

1.1.1 ROC曲线

ROC曲线是一种二维图形，其中横轴为假正率（False Positive Rate），纵轴为真正率（True Positive Rate）。该曲线总结了分类器在所有可能阈值下的性能。

1.1.2 马修斯相关系数（MCC）

MCC是衡量二元分类质量的指标，可直接从混淆矩阵计算得出，公式如下：
[MCC = \frac{TP \times TN - FP \times FN}{\sqrt{(TP + FP)(TP + FN)(TN + FP)(TN + FN)}}]
其中，$TP$ 表示真正例，$TN$ 表示真反例，$FP$ 表示假正例，$FN$ 表示假反例。MCC的值介于 -1 到 +1 之间，+1 表示完美预测，0 表示随机预测，-1 表示预测与观察完全不一致。通常认为马修斯相关系数是描述混淆矩阵的最佳指标之一。

1.2 数学基础

1.2.1 线性代数

• 向量空间 ：向量用于表示机器学习中的特征和描述算法。向量空间或线性空间是进行线性代数运算的基本环境。向量空间 $V$ 是一个非空的向量集合，与一个标量域 $F$ 相关联。在本文中，标量域为实数域 $\mathbb{R}$。向量空间 $V$ 需满足以下条件：
  1. 加法封闭性：对于任意的 $v_1, v_2 \in V$，有 $v_1 + v_2 \in V$。
  2. 交换律：对于任意的 $v_1,