Logistic Regression

最新推荐文章于 2024-12-11 17:45:49 发布

miao6664659

最新推荐文章于 2024-12-11 17:45:49 发布

阅读量907

点赞数

分类专栏： Machine Learning

Machine Learning 专栏收录该内容

10 篇文章

订阅专栏

本文介绍了如何使用梯度下降及随机梯度下降算法进行分类任务，包括数据集加载、sigma函数定义、梯度上升算法实现及其绘图展示，并对比了不同梯度下降方法的效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 使用梯度下降和随机梯度下降有测试函数

from numpy import *
import matplotlib.pyplot as plt
#加载数据集  其中dataMat中存储的是数据样本，而labelMat存储的类别标签
def loadDataSet():
    dataMat=[];labelMat=[]
    fr=open('testSet.txt')
    for line in fr.readlines():
        lineArr=line.strip().split()
        dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat,labelMat
#定义sigma函数
def sigmoid(inX):
    return 1.0/(1+exp(-inX))
#梯度上升算法
def gradAscent(dataMatIn,classLabels):
    dataMatrix=mat(dataMatIn)#初始数据集
    labelMat=mat(classLabels).transpose()#定义类别标签
    m,n=shape(dataMatrix)#数据集的大小 m行n列
    alpha=0.001#学习速率
    maxCycles=500#迭代次数
    
    weights=ones((n,1))# 初始参数向量全是1
    #w=w+a*sum((yi-hat(xi))*xi)
    for k in range(maxCycles):#迭代maxCycles次
        #h为hat(xi)
        h=sigmoid(dataMatrix*weights)
        error=(labelMat-h)#
        #更新w参数 向量公式
        weights=weights+alpha*dataMatrix.transpose()*error
    return weights

#画出数据集和决策边界
def plotBestFit(weights):
    #weights=wei.getA()
    #加载数据集
    dataMat,labelMat=loadDataSet()
    dataArr=array(dataMat)
    #数据的个数
    m=shape(dataArr)[0]
    xcord1=[]
    ycord1=[]
    xcord2=[]
    ycord2=[]
    for i in range(m):
        if int(labelMat[i])==1:
            xcord1.append(dataArr[i,1])
            ycord1.append(dataArr[i,2])
        else:
            xcord2.append(dataArr[i,1])
            ycord2.append(dataArr[i,2])
    fig=plt.figure()
    ax=fig.add_subplot(111)
    ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')
    ax.scatter(xcord2,ycord2,s=30,c='green')
    x=arange(-3.0,3.0,0.1)#生成从-3到+3的点 每隔0.1生成一个点
    #print x 
    y=(-weights[0]-weights[1]*x)/weights[2]
    ax.plot(x,y)
    plt.xlabel('X1')
    plt.ylabel('X2')
    plt.show()

#随机梯度下降算法 又叫增量梯度下降算法
#dataMatrix为原始数据集，classLable为标签
def stocGradAscend0(dataMatrix,classLabels):
    m,n=shape(dataMatrix)
    alpha=0.01#学习速率
    weights=ones(n)#回归系数
    for i in range(m):
        #预测值   随机梯度下降的系数更新规则： w=w+a*(yi-hat(xi))*xi
        h=sigmoid(sum(dataMatrix[i]*weights))
        error=classLabels[i]-h
        weights=weights+alpha*error*dataMatrix[i]
    return weights

def stocGradAscend1(dataMatrix,classLabels,numIter=150):
    m,n=shape(dataMatrix)
    weights=ones(n)
    #迭代numIter次
    for j in range(numIter):
        dataIndex=range(m)
        for i in range(m):
            alpha=4/(1.0+j+i)+0.0001#学习速率 一直在下降 每次迭代都下降
            #随机选择样本
            randIndex=int(random.uniform(0,len(dataIndex)))
            h=sigmoid(sum(dataMatrix[randIndex]*weights))
            error=classLabels[randIndex]-h
            weights=weights+alpha*error*dataMatrix[randIndex]
            #选择过后记得要删除该样本的序号 免得再次选取
            del(dataIndex[randIndex])
    return weights
#分类函数 intX 测试样本 weights 回归系数
def classifyVec(intX,weights):
    prob=sigmoid(sum(inX*weights))
    if prob>0.5:
        return 1.0
    else:
        return 0.0
#dataArr,labelMat=loadDataSet()
#w=gradAscent(dataArr,labelMat)
#plotBestFit(w)
#datArr,labelMat=loadDataSet()
#weights=stocGradAscend0(array(datArr),labelMat)
#plotBestFit(weights)	
datArr,labelMat=loadDataSet()
weights=stocGradAscend1(array(datArr),labelMat)
print datArr[1]
print labelMat[1]
inX=[1,2,1000]
i=classifyVec(inX,weights)
if i==1.0:
    print "分类为1"
else:
    print "分类为0"
plotBestFit(weights)