23、分类算法：逻辑回归、决策树与随机森林

分类算法：逻辑回归、决策树与随机森林

1. 逻辑回归回顾

逻辑回归是预测分类目标的常用工具，具有低偏差的特点。它适用于目标变量为名义或有序变量的情况。在处理多分类问题时，我们可以构建多项逻辑回归模型。

逻辑回归模型评估时，会用到准确率、精确率、灵敏度、F1宏平均和F1加权平均等指标。例如以下代码展示了计算这些指标的过程：

# 假设这里有交叉验证的代码
accuracy, precision, sensitivity, f1_macro, f1_weighted = \
    np.mean(scores['test_accuracy']),\
    np.mean(scores['test_precision_weighted']),\
    np.mean(scores['test_recall_weighted']),\
    np.mean(scores['test_f1_macro']),\
    np.mean(scores['test_f1_weighted'])
print(accuracy, precision, sensitivity, f1_macro, f1_weighted)

逻辑回归也存在一些缺点，如高方差和难以处理高度相关的预测变量。不过，这些问题可以通过正则化和特征选择来解决。同时，在处理类别不平衡问题时，需要考虑其对建模和结果解释的影响。

2. 决策树和随机森林分类概述

决策树和随机森林是非常流行的分类模型，它们具有易于训练和解释的优点，并且灵活性较高。在处理多分类问题时，无需像逻辑回归那样进行特