Logistic回归Python实现

本文深入探讨了Logistic回归在分类任务中的应用,通过梯度上升法和随机梯度上升法优化权重,实现数据分类,并以马匹疾病预测为例,展示了算法的实际效果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

利用Logistic回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。

类似于下图中建立回归公式得到边界线,将红色和绿色的样本进行分类。

from numpy import *
import matplotlib.pyplot as plt
def loaddataset():
    dataMat=[]
    labelMat=[]
    fr=open('testSet.txt')#打开testSet数据集
    for line in fr.readlines():#读取文件中的每一行
        lineArr=line.strip().split()#将每一行的数据分开
        dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])])#第一列和第二列作为特征数据集,添加1是构造常数项x0
        labelMat.append(int(lineArr[2]))#第三列作为标签
    return dataMat,labelMat

def sigmoid(inX):
    return 1.0/(1+exp(-inX))
输入数据集和标签
def gradAscent(dataMatIn,classLabels):
    dataMatrix=mat(dataMatIn)#(m,n)
    labelMat=mat(classLabels).transpose()#转置后(m,1)
    m,n=shape(dataMatrix)
    alpha=0.001
    maxCycles=500
    weights=ones((n,1))#初始化回归系数,(n,1)
    for k in range(maxCycles):
        h=sigmoid(dataMatrix*weights)
        error=labelMat-h
        weights=weights+alpha*dataMatrix.transpose()*error#梯度上升法
    return weights

 

画图
def plotBestFit(wei):
    weights=wei.getA()
    dataMat,labelMat=loaddataset()
    dataArr=array(dataMat)
    n=shape(dataArr)[0]
    xcord1=[];ycord1=[]
    xcord2=[];ycord2=[]
    for i in range(n):
        if int(labelMat[i])==1:
            xcord1.append(dataArr[i,1])
            ycord1.append(dataArr[i,2])
        else:
            xcord2.append(dataArr[i, 1])
            ycord2.append(dataArr[i, 2])
    fig=plt.figure()
    ax=fig.add_subplot(111)
    ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')
    ax.scatter(xcord2,ycord2,s=30,c='green')
    x=arange(-3.0,3.0,0.1)
    y=(-weights[0]-weights[1]*x)/weights[2]
    ax.plot(x,y)
    plt.xlabel('X1')
    plt.ylabel('X2')
    plt.show()
dataArr,labelMat=loaddataset()
weights=gradAscent(dataArr,labelMat)
print(weights)
plotBestFit(weights)

 算法改进:

随机梯度上升:每次只使用一个数据样本点来更新回归系数,减少计算次数。

def sgdAscent(dataMatrix,classLabels):
    m,n=shape(dataMatrix)
    alpha=0.01
    weights=ones(n)
    for i in range(m):
        h=sigmoid(sum(dataMatrix[i]*weights))
        error=classLabels[i]-h
        weights=weights+alpha*error*dataMatrix[i]#数组和列表的乘法计算不一样,矩阵类型是numpy的matrix,按照矩阵的规则计算;列表按照数值规则计算。
    return weights

改进随机梯度上升法

def sgdAscent2(dataMatrix,classLabels,numIter=150):
    m,n=shape(dataMatrix)
    weights=ones(n)
    for j in range(numIter):
        dataIndex=range(m)
        for i in range(m):
            alpha=4/(1.0+j+i)+0.01#0.01是保证在多次迭代之后新数据仍有一定影响力
            randIndex=int(random.uniform(0,len(dataIndex)))#减少周期波动,随机选取更新
            h = sigmoid(sum(dataMatrix[randIndex]*weights))
            error = classLabels[randIndex] - h
            weights = weights + alpha * dataMatrix[randIndex] * error
            #del(dataIndex[randIndex])
    return weights
测试实例:
def classifyVector(inX,weights):
    prob=sigmoid(sum(inX*weights))
    if prob>0.5:
        return 1.0
    else:
        return 0.0

def colicTest():
    frTrain=open('horseColicTraining.txt')
    frTest=open('horseColicTest.txt')
    trainingSet=[]
    trainingLabels=[]
    for line in frTrain.readlines():
        currLine=line.strip().split('\t')
        lineArr=[]
        for i in range(21):#读取21个特征数据
            lineArr.append(float(currLine[i]))
        trainingSet.append(lineArr)
        trainingLabels.append(float(currLine[21]))
    trainWeights=sgdAscent2(array(trainingSet),trainingLabels,500)
    errorCount=0
    numTestVec=0.0
    for line in frTest.readlines():
        numTestVec+=1.0
        currLine=line.strip().split('\t')
        lineArr=[]
        for i in range(21):
            lineArr.append(float(currLine[i]))
        if int(classifyVector(array(lineArr),trainWeights))!=int(currLine[21]):
            errorCount+=1
    errorrate=float(errorCount)/numTestVec
    print('the error rate is {0}'.format(errorrate))
    return errorrate

def multiTest():#进行多次测试,此处即进行十次测试
    numTests=10
    errorSum=0.0
    for k in range(numTests):
        errorSum+=colicTest()
    print("after {0} iterations the average error rate is {1}".format(numTests,errorSum/float(numTests)))

 

### 回答1: Logistic回归是一种二分类算法,可以用于预测一个样本属于哪一类。在Python中,可以使用scikit-learn库中的LogisticRegression模块来实现Logistic回归。 首先,需要导入相关的库和数据集。例如,可以使用sklearn.datasets中的load_breast_cancer数据集。 ```python from sklearn.datasets import load_breast_cancer from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score # 导入数据集 data = load_breast_cancer() # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=.2, random_state=42) ``` 接下来,可以使用LogisticRegression模块来训练模型,并进行预测。 ```python # 训练模型 model = LogisticRegression() model.fit(X_train, y_train) # 预测测试集 y_pred = model.predict(X_test) # 计算准确率 accuracy = accuracy_score(y_test, y_pred) print("Accuracy: {:.2f}%".format(accuracy * 100)) ``` 最后,可以输出模型的准确率。 ### 回答2: logistic回归是一种经典的分类算法,通常用于解决二分类问题。在实现时,可以使用Python中的Scikit-learn库来进行建模和预测。 首先,需要准备好数据集,该数据集应该包含二分类变量和一些预测变量。可以使用Pandas库来读取和处理数据集。在logistic回归中,需要将目标变量转换为二进制变量(0或1)。 接下来,需要将数据集拆分为训练集和测试集。训练集用于训练模型,而测试集则用于评估模型的性能。可以使用Scikit-learn库中的train_test_split函数来实现数据集的拆分。 接下来,需要使用Scikit-learn库中的LogisticRegression类来进行模型训练。当创建实例时,我们可以设置一些参数,如正则化强度,以控制模型的复杂度。我们还可以使用fit方法拟合数据集,从而训练模型。 一旦模型被训练,我们就可以使用predict或predict_proba方法对测试集进行预测。predict方法将返回类标签,而predict_proba方法将返回概率。 在训练和预测过程中,需要注意异常值、缺失值和特征缩放等问题。这些问题可以使用数据清洗和预处理方法来解决。 总的来说,使用Python实现logistic回归是一项简单而有用的任务。通过对数据进行预处理、拟合和评估,我们可以得到一个准确性较高的模型,并用它来解决分类问题。 ### 回答3: Logistic回归是一种适用于二分类问题的机器学习算法。在实现Logistic回归时,我们可以使用Python编程语言。Python提供了多个机器学习库,如Scikit-learn、TensorFlow等,可以帮助我们构建Logistic回归模型。 首先,我们需要将数据集导入到Python环境中。通常使用Pandas数据处理库,可以方便地读取各种格式的数据文件。然后,我们需要对数据进行预处理,比如去除重复值、填充空值、标准化/归一化等。 接下来,我们需要将数据集分成训练集和测试集。训练集用于训练Logistic回归模型,测试集用于评估模型的性能。一般情况下,我们使用80%的数据作为训练集,20%的数据作为测试集。 接着,我们可以使用Scikit-learn库中的LogisticRegression类来构建Logistic回归模型。该类提供了多个参数,如正则化系数、迭代次数、优化算法等,可以根据具体数据集的特征进行选择。在训练模型后,我们可以使用模型对测试集进行预测,并计算模型的准确率、精确率、召回率等指标。 在实际应用中,我们可以对Logistic回归模型进行优化,比如使用特征选择方法、调整超参数、尝试不同的正则化方法等。此外,我们还可以使用深度学习框架如TensorFlow等实现更加复杂的Logistic回归模型,如多分类Logistic回归、含非线性特征的Logistic回归等。 总之,Python提供了丰富的机器学习库与工具,可以帮助我们很快地构建Logistic回归模型。在实际应用中,还需要根据具体数据集的特征进行调整和优化,以提高模型的预测能力。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值