5、机器学习中的逻辑回归与决策树算法详解

机器学习中的逻辑回归与决策树算法详解

逻辑回归基础

逻辑回归常用于预测二元（分类）事件，与用于预测连续事件的线性回归不同。它是线性回归的扩展，将线性方程通过一个Sigmoid激活函数处理。Sigmoid曲线能将输出值限制在0到1之间，从而可以估算事件发生的概率。

交叉熵误差

在逻辑回归中，交叉熵误差是主要的损失度量之一。通过两个场景对比可以看出其作用：
- 场景1 ：模型预测A党获胜概率为0.5，实际结果A党获胜。此时交叉熵计算为：
[ - (1 \times \log_2(0.5) + (1 - 1) \times \log_2(1 - 0.5)) = 1 ]
- 场景2 ：模型预测A党获胜概率为0.8，实际结果A党获胜。此时交叉熵计算为：
[ - (1 \times \log_2(0.8) + (1 - 1) \times \log_2(1 - 0.8)) = 0.32 ]

可以看到，场景2的交叉熵低于场景1。与最小二乘法相比，交叉熵对高预测误差的惩罚更重。当误差值较小时，平方误差和交叉熵误差的损失相似，但当实际值和预测值差异较大时，交叉熵的惩罚比平方误差方法更严重。因此，在离散变量预测中，我们更倾向于使用交叉熵误差作为误差度量。

逻辑回归的实现

• R语言实现 ：

# 导入数据集
data=read.csv("D:/Pro ML book/Logistic re