机器学习：Logistic回归

最新推荐文章于 2024-08-03 13:59:41 发布

zfy1204121167

最新推荐文章于 2024-08-03 13:59:41 发布

阅读量929

点赞数 23

文章标签：机器学习回归人工智能

本文链接：https://blog.youkuaiyun.com/zfy1204121167/article/details/134791108

版权

本文介绍了Logistic回归作为二分类算法的基本原理，强调了其可解释性和计算效率。同时探讨了Sigmoid函数的作用以及基于最优化方法（梯度上升和随机梯度上升）确定最佳回归系数的过程。通过实例展示了如何使用这些方法在实际数据集上进行模型训练和决策边界绘制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、基于Logistic回归和Sigmoid函数的分类

1.1Logistic回归

逻辑回归（Logistic Regression）是机器学习中常用的一种分类算法。它用于解决二分类问题，即将样本分为两个类别。该算法的目标是通过构建一个适当的模型来预测输入变量与输出变量之间的关系。

逻辑回归具有以下特点：

可解释性强：可以通过参数的正负来判断特征对于结果的影响方向。
计算效率高：模型训练和预测速度快。
可以处理线性可分和线性不可分的数据。

逻辑回归具有简单快速的训练过程和较好的可解释性，常用于分类问题，如广告点击预测、疾病诊断、信用风险评估等。

1.2Sigmoid函数

计算公式：

当x为0时，Sigmoid函数值为0.5。随着x的增大，对应的Sigmoid值将逼近于1；而随着x的减小，Sigmoid值将逼近于0.如果横坐标刻度足够大，Sigmoid函数看起来很像一个阶跃函数。

二、基于最优化方法的最佳回归系数确定

2.1梯度上升法

基本思想：要找到某个函数的最大值，最好的方法就是沿着该函数的梯度方向寻找，直至找到某个临界值，或者是达到某个可以允许的误差范围。

2.2 训练算法：使用梯度上升找到最佳参数

向量 = 值 + 方向
梯度 = 向量
梯度 = 梯度值 + 梯度方向

Logistic回归梯度上升优化算法：

from numpy import *

def loadDataSet():#打开文本文件testSet.txt并逐行读取
    #每行前两个值分别是X1和X2，第三个值是数据对应的类别标签
    dataMat = []; labelMat = []
    fr = open('testSet.txt')#打开文本文件testSet.txt
    for line in fr.readlines():#逐行读取
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])#存放数据X1和X2
        labelMat.append(int(lineArr[2]))#存放第三个值标签
    return dataMat,labelMat

def sigmoid(inX):
    return 1.0/(1+exp(-inX))

def gradAscent(dataMatIn,classLabels):#dataMatIn是一个2维Numpy数组，每列分别代表每个不同的特征，每行则代表每个训练样本
    dataMatrix = mat(dataMatIn)#mat创建矩阵
    labelMat = mat(classLabels).transpose()#为了方便矩阵进行计算，将原向量进行转置
    m,n = shape(dataMatrix)
    alpha = 0.001
    maxCycles = 500
    weights = ones((n,1))#构建n行1列的全1矩阵
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)
        error = (labelMat - h)#计算真实类别与预测类别的差值，按照差值的方向调整回归系数
        weights = weights + alpha * dataMatrix.transpose() * error
    return weights

求得最优回归系数：

>>> import logRegres
>>> from imp import reload
>>> reload(logRegres)
<module 'logRegres' from 'E:\\Python\\logRegres.py'>
>>> dataArr,labelMat=logRegres.loadDataSet()
>>> logRegres.gradAscent(dataArr,labelMat)
matrix([[ 4.12414349],
        [ 0.48007329],
        [-0.6168482 ]])

2.3分析数据：画出决策边界

画出数据:集和Logistic回归最佳拟合直线的函数

def plotBestFit(weights):
    import matplotlib.pyplot as plt
    dataMat,labelMat = loadDataSet()
    dataArr = array(dataMat)
    n = shape(dataArr)[0]#dataArr有几行
    xcord1 = []; ycord1 = []
    xcord2 = []; ycord2 = []
    for i in range(n):
        if int(labelMat[i])==1:
            xcord1.append(dataArr[i,1]);ycord1.append(dataArr[i,2])#1为正样本
        else:
            xcord2.append(dataArr[i,1]);ycord2.append(dataArr[i, 2])#0为负样本
    fig = plt.figure() #创建一个新图形
    ax = fig.add_subplot(111)
    ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')#绘制正样本
    ax.scatter(xcord2, ycord2, s=30, c='green')#绘制负样本
    x = arange(-3.0, 3.0, 0.1)
    y = (-weights[0]-weights[1]*x)/weights[2]#最佳拟合直线
    ax.plot(x,y)
    plt.xlabel('X1');plt.ylabel('X2');
    plt.show()

输出结果:

2.4 训练算法：随机梯度上升

# 随机梯度上升法
def stocGradAscent0(dataMatrix,classLabels):
    dataMatrix=np.array(dataMatrix)
    # 不需要进行矩阵的转换
    m,n=np.shape(dataMatrix)
    # 移动步长加大
    alpha=0.01
    weights=np.ones(n)
    print(weights)
    for i in range(m):
        # 不是数值的计算，而是向量的计算
        h=sigmoid(sum(dataMatrix[i]*weights))
        error=classLabels[i]-h
        weights=weights+alpha*error*dataMatrix[i]
    return weights

输出结果：

三、总结

总结
Logistic回归的一般过程

收集数据：采用任意方法收集数据。
准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据格式则最佳。
分析数据：采用任意方法对数据进行分析。
训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数。
测试算法：一旦训练步骤完成，分类将会很快。
使用算法：首先，需要输入一些数据，并将其转换成对应的结构化数值；接着，基于训练好的回归系数，就可以对这些数值进行简单的回归计算，判定它们属于哪个*类别；在这之后，就可以在输出的类别上做一些其他分析工作。