Logistic回归算法

原理就不说了，其它博客上说得非常详细，Logistic回归梯度上升算法代码如下：

from numpy import *

def loadDataSet():
    dataMat= [];labelMat= []
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])])
        labelMat.append(int((lineArr[2])))
    return dataMat,labelMat

def sigmoid(inX):
    return 1.0/(1+exp(-inX))

def gradAscent(dataMatIn,classLabels):
    dataMatrix = mat(dataMatIn)
    labelMat = mat(classLabels).transpose()
    m,n = shape(dataMatrix)
    alpha = 0.001
    maxCycles = 500 ＃迭代次数
    weights = ones((n,1))
    for k in range(maxCycles):
        h = sigmoid(dataMatrix*weights)
        error = (labelMat - h)
        weights = weights + alpha * dataMatrix.transpose() * error
              ＃alpha是移动的步长
    return weights

结果为：

>>> import logRegres
>>> dataMat,labelMat=logRegres.loadDataSet()
>>> logRegres.gradAscent(dataMat,labelMat)
matrix([[ 4.12414349],
        [ 0.48007329],
        [-0.6168482 ]])

接下来将数据进行可视化，拟合出图形：

def plotBestFit(weights):
    import matplotlib.pyplot as plt
    dataMat,labelMat=loadDataSet()
    dataArr = array(dataMat)
    n = shape(dataArr)[0]
    xcord1 = [];ycord1 = []
    xcord2 = [];ycord2 = []
    for i in range(n):
        if int(labelMat[i]) == 1:
               xcord1.append(dataArr[i,1]);ycord1.append(dataArr[i,2])
        else:
               xcord2.append(dataArr[i,1]);ycord2.append(dataArr[i,2])
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')
    ax.scatter(xcord2,ycord2,s=30,c='green')
    x = arange(-3.0,3.0,0.1)
    y = (-weights[0]-weights[1]*x)/weights[2]
    ax.plot(x,y)
    plt.xlabel('X1');plt.ylabel('X2');
    plt.show()

以上代码是用Matplotlib画出来的，此处设置了sigmoid函数为0。
运行结果如下：

这里书上有一处错误，原来书上代码会提示错误：

>>> logRegres.plotBestFit(weights.getA())
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
NameError: name 'weights' is not defined

加上一句：

weights = logRegres.gradAscent(dataArr, labelMat)

运行正常。
上述方法需要迭代多次，准确地说是500次，这里样本只有100个，数据集非常小，所以运行很快，数据量巨大的时候算法将会非常慢。
采用随机梯度上升算法来训练，伪代码如下：
所有回归系数初始化为1
对数据集中每个样本：
计算该样本的密度
使用alpha×gradient更新回归系数值
返回回归系数值
代码如下：

def stocGradAscent0(dataMtrix,classLabels):
    m,n = shape(dataMtrix)
    alpha = 0.001
    weights = ones(n)
    for i in range(m):
        h = sigmoid(sum(dataMtrix[i]*weights))
        error = classLabels[i] - h
        weights = weights + alpha * error * dataMtrix[i]
    return weights

python提示符中输入：

from numpy import *
>>> reload(logRegres)
<module 'logRegres' from 'logRegres.py'>
>>> weights=logRegres.stocGradAscent0(array(dataArr),labelMat)
>>> logRegres.plotBestFit(weights)

运行结果：

这个分类器错分了三分之一的样本，因为每次迭代时系数都会发生剧烈改变。