机器学习基础算法 (二)-逻辑回归

python 环境的配置参考 从零开始：Python 环境搭建与工具配置

点击进入：机器学习基础算法 (一)-线性回归
点击进入：机器学习基础算法 (二)-逻辑回归
点击进入：机器学习基础算法 (三)-支持向量机（SVM）
点击进入：机器学习基础算法 (四)-决策树（Decision Tree）
点击进入：机器学习基础算法 (五)-随机森林：集成学习的强大力量
点击进入：机器学习基础算法 (六)-k 最近邻算法（k-Nearest Neighbors, k-NN）
点击进入：机器学习基础算法 (七)-朴素贝叶斯（Naive Bayes）
点击进入：机器学习基础算法 (八)-K均值聚类（K-Means Clustering）
点击进入：机器学习基础算法 (九) - AdaBoost
点击进入：机器学习基础算法 (九-二) - 梯度提升机（Gradient Boosting Machines, GBM）
点击进入：机器学习基础算法 (十) - XGBoost
点击进入：机器学习基础算法 (十一) - LightGBM-微软
点击进入：机器学习基础算法 (十二) - 层次聚类（Hierarchical Clustering）
点击进入：机器学习基础算法 (十三) - 主成分分析（PCA, Principal Component Analysis）
点击进入：机器学习基础算法 (十四) - 独立成分分析（ICA, Independent Component Analysis）
点击进入：机器学习基础算法 (十五) - t-SNE（t-Distributed Stochastic Neighbor Embedding）

逻辑回归是一种用于解决二分类问题的机器学习算法，它可以预测输入数据属于某个类别的概率。本文将详细介绍逻辑回归的原理、Python 实现、模型评估和调优，并结合垃圾邮件分类案例进行实战演练。

一、逻辑回归原理

逻辑回归使用 Sigmoid 函数将线性回归模型的输出转换为概率值。Sigmoid 函数的公式如下：

P(y=1|x) = 1 / (1 + exp(-(β₀ + β₁x₁ + ⋯ + βᵣ𝑥ᵣ)))

其中：

• P(y=1|x) 是输入数据 x 属于类别 1 的概率
• x₁, x₂, …, xᵣ 是特征
• β₀ 是截距
• β₁, β₂, …, βᵣ 是系数

逻辑回归模型通过学习训练数据，找到最佳的 β₀, β₁, …, βᵣ 参数值，使得模型预测的概率值与真实类别之间的误差最小化。

二、Python 实现逻辑回归模型

Python 中可以使用 scikit-learn 库来实现逻辑回归模型。以下是一个简单的示例：

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, confusion_matrix

# 导入数据
# 假设 X 是特征矩阵，y 是目标变量向量

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建逻辑回归模型
model