机器学习——Logistic回归

原创已于 2023-12-04 22:03:15 修改 · 316 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #回归 #人工智能

于 2023-12-04 21:54:21 首次发布

文章介绍了Logistic回归的基本概念、优点与局限性，涉及线性组合、Sigmoid函数、最小二乘法求解和梯度下降算法。文章还展示了如何使用Logistic回归在医疗、金融和市场营销等领域中的实际应用，并提供了Python实现示例。

Logistic回归的简要介绍

Logistic回归概念：

Logistic回归是一种广泛使用的统计方法，用于预测一个事件的概率，它是分类问题中的一个基础算法，尤其是在二分类问题中应用非常普遍。虽然Logistic回归模型包含了线性回归的成分，即特征的线性组合，但它通过引入逻辑函数将线性回归模型扩展到了分类问题上。这种模型被称为广义线性模型，其中Logistic回归是处理二元分类问题的特例。

Logistic回归的优缺点：

优点：

实现简单，计算代价不高。
输出结果是概率，可以直观地理解。
对于线性关系的解释性强。

缺点：

对于非线性关系，表现不如决策树和支持向量机等算法。
容易受到数据不平衡的影响。
需要预先假设数据特征和输出结果之间存在线性关系。

应用场景：

医疗领域：Logistic回归常用于预测疾病的发生风险，如根据患者的年龄、体重、血压等因素来预测心脏病发作的概率。
金融领域：在信用评分中，Logistic回归可以用来评估客户违约的概率，从而帮助银行决定是否批准贷款。它也被用于欺诈检测，比如预测某笔交易是否为欺诈行为。
市场营销：企业可以使用Logistic回归来预测客户是否会购买某产品，或者是否会对特定的营销活动作出响应。

Logistic回归知识

在Logistic回归模型中，我们首先对特征进行线性组合，然后将这个线性组合的结果通过Sigmoid函数转换，使得输出值落在(0,1)区间内，这个输出值可以被解释为事件发生的概率。

线性模型一般形式：

其中x=(x1, x2, ..., xd)是由d维属性描述的样本，其中 xi 是 x 在第 i 个属性上的取值。

Sigmoid函数的表达式与表现：

其中，z 是输入特征的线性组合。

因此，Logistic回归模型的形式如下：

最小二乘法与参数求解

线性回归目标：

即使回归预测值与真实值的误差最小。

公式表示为：

分别对w和b求导，可得：

得到解析/闭合（closed-form）解：

其中

梯度下降算法

梯度下降算法是一种用于找到损失函数最小值的优化方法。在Logistic回归中，通常使用的损失函数是对数似然损失函数，目标是最小化这个损失函数。

Logistic回归实现

在实现中，我使用了鸢尾花数据集，只使用了两种类型的鸢尾花和其中的两个特征。

from numpy import *
from sklearn import datasets
from sklearn.model_selection import train_test_split

sigmoid函数：

# Sigmoid函数定义
def sigmoid(inX):
    return 1.0 / (1 + exp(-inX))

梯度上升算法：

# 梯度上升算法
def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn)             # 转换为NumPy矩阵
    labelMat = mat(classLabels).transpose() # 转换为NumPy矩阵，并且矩阵转置
    m, n = shape(dataMatrix)
    alpha = 0.001                           # 学习率
    maxCycles = 500                         # 迭代次数
    weights = ones((n, 1))                  # 权重初始化为1
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)   # 矩阵相乘，计算sigmoid函数
        error = (labelMat - h)              # 计算误差
        weights = weights + alpha * dataMatrix.transpose() * error  # 更新权重

测试：

# 使用鸢尾花数据集进行测试
def colicTest():
    # 加载鸢尾花数据集
    iris = datasets.load_iris()
    X = iris.data[:, :2]  # 只取前两个特征
    y = (iris.target != 0) * 1  # 将目标转换为二分类问题，非0类别标记为1
    
    # 划分训练集和测试集
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)
    
    trainWeights = gradAscent(X_train, y_train)
    errorCount = 0
    numTestVec = 0.0
    for i in range(len(X_test)):
        numTestVec += 1.0
        if int(sigmoid(sum(array(X_test[i]) * trainWeights)) > 0.5) != int(y_test[i]):
            errorCount += 1
    errorRate = (float(errorCount) / numTestVec)
    print("测试集错误率: %f" % errorRate)
    return errorRate

# 多次测试并计算平均错误率
def multiTest():
    numTests = 10
    errorSum = 0.0
    for k in range(numTests):
        errorSum += colicTest()
    print("经过 %d 轮迭代后的平均错误率为: %f" % (numTests, errorSum / float(numTests)))

# 调用multiTest函数进行多次测试
multiTest()

整体代码：

from numpy import *
from sklearn import datasets
from sklearn.model_selection import train_test_split

# Sigmoid函数定义
def sigmoid(inX):
    return 1.0 / (1 + exp(-inX))

# 梯度上升算法
def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn)             # 转换为NumPy矩阵
    labelMat = mat(classLabels).transpose() # 转换为NumPy矩阵，并且矩阵转置
    m, n = shape(dataMatrix)
    alpha = 0.001                           # 学习率
    maxCycles = 500                         # 迭代次数
    weights = ones((n, 1))                  # 权重初始化为1
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)   # 矩阵相乘，计算sigmoid函数
        error = (labelMat - h)              # 计算误差
        weights = weights + alpha * dataMatrix.transpose() * error  # 更新权重
    return weights

# 使用鸢尾花数据集进行测试
def colicTest():
    # 加载鸢尾花数据集
    iris = datasets.load_iris()
    X = iris.data[:, :2]  # 只取前两个特征
    y = (iris.target != 0) * 1  # 将目标转换为二分类问题，非0类别标记为1
    
    # 划分训练集和测试集
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)
    
    trainWeights = gradAscent(X_train, y_train)
    errorCount = 0
    numTestVec = 0.0
    for i in range(len(X_test)):
        numTestVec += 1.0
        if int(sigmoid(sum(array(X_test[i]) * trainWeights)) > 0.5) != int(y_test[i]):
            errorCount += 1
    errorRate = (float(errorCount) / numTestVec)
    print("测试集错误率: %f" % errorRate)
    return errorRate

# 多次测试并计算平均错误率
def multiTest():
    numTests = 10
    errorSum = 0.0
    for k in range(numTests):
        errorSum += colicTest()
    print("经过 %d 轮迭代后的平均错误率为: %f" % (numTests, errorSum / float(numTests)))

# 调用multiTest函数进行多次测试
multiTest()

运行结果：