12、使用Spark构建分类模型

使用Spark构建分类模型

1. 损失函数

在分类问题中，有多种损失函数用于衡量模型预测结果与真实标签之间的差异。常见的损失函数包括逻辑损失、合页损失和零一损失。其他损失函数通常是对零一损失的近似，以便于优化。
- 逻辑回归损失函数 ：逻辑回归是一种概率模型，其预测值介于0和1之间。对于二分类问题，逻辑回归的预测值表示数据点属于正类的概率估计。逻辑回归使用的链接函数是逻辑链接函数：
[
\frac{1}{1 + \exp(-w^T x)}
]
相关的损失函数是逻辑损失：
[
\log(1 + \exp(-y w^T x))
]
其中，$y$ 是实际的目标变量（正类为1，负类为 -1）。
- 支持向量机损失函数 ：支持向量机（SVM）是一种强大且流行的回归和分类技术。与逻辑回归不同，SVM不是概率模型，而是根据模型评估结果的正负来预测类别。SVM的链接函数是恒等链接函数，预测结果为：
[
y = w^T x
]
如果 $w^T x$ 的评估值大于或等于阈值0，SVM将数据点分配到类别1；否则，分配到类别0（该阈值是SVM的一个模型参数，可以调整）。SVM的损失函数是合页损失，定义为：
[
\max(0, 1 - y w^T x)
]
SVM是一种最大间隔分类器，它试图找到一个权重向量，使类别之间的间隔尽可能大。

模型	链接函数	损失函数 <