《机器学习实战》学习笔记（5、Logistic回归）

最新推荐文章于 2021-11-21 21:32:43 发布

原创最新推荐文章于 2021-11-21 21:32:43 发布 · 222 阅读

2 ·

CC 4.0 BY-SA版权

AI学习笔记专栏收录该内容

13 篇文章

订阅专栏

本文介绍了Logistic回归的基础知识，包括Sigmoid函数及其应用，并详细解释了梯度上升法的工作原理及其实现过程。同时，还讨论了如何通过随机梯度上升法优化回归系数，提高算法效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

回归：若有一些数据点，用一条直线对这些点进行拟合的过程。

训练分类器时的做法，寻找最佳拟合参数，使用最优化算法。

准备数据，要求数据类型为数值型；训练算法，寻找最佳的分类回归系数。使用算法，输入数据，转化为结构化数值，基于回归系数，对这些数值进行回归计算，判定分类。

基于Logistic回归和Sigmoid函数的分类：

计算代价不高，但容易欠拟合，分类精度不高。

Sigmoid函数，看起来很像一个阶跃函数，随着x增大，会逼近于1。

Logistic回归分类器的原理：每个特征上都乘以一个回归系数，然后把所有结果相加，代入Sigmoid函数，进而得到0~1之间的数值。

梯度上升法：用来求函数的最大值

f(x,y)的梯度：；梯度上升算法的迭代公式：，α为步长。

对某数据集，使用梯度上升法，找到最佳回归系数：

def loadDataSet():
    dataMat = []
    labelMat = []
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))  # 取出最后的分类标签
    return dataMat, labelMat


def sigmoid(inX):
    return 1.0 / (1 + exp(-inX))


def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn)  # 100行数据，每行有两个特征X1和X2
    labelMat = mat(classLabels).transpose()  # 转化为100x1的列向量
    m, n = shape(dataMatrix)  # 100x3
    alpha = 0.001  # 目标移动的步长
    maxCycles = 500  # 迭代次数
    weights = ones((n, 1))  # 3x1
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)  # h是一个列向量，100x1
        error = (labelMat - h)  # 100x1
        weights = weights + alpha * dataMatrix.transpose() * error  # 3x1
    return weights

分析数据：画出决策边界：

def plotBestFit(weights):
    import matplotlib.pyplot as plt
    dataMat, labelMat = loadDataSet()
    dataArr = array(dataMat)
    n = shape(dataArr)[0]
    xcord1 = []
    ycord1 = []
    xcord2 = []
    ycord2 = []
    for i in range(n):
        if int(labelMat[i]) == 1:
            xcord1.append(dataArr[i, 1])
            ycord1.append(dataArr[i, 2])
        else:
            xcord2.append(dataArr[i, 1])
            ycord2.append(dataArr[i, 2])
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')
    ax.scatter(xcord2, ycord2, s=30, c='green')
    x = arange(-3.0, 3.0, 0.1)
    y = (-weights[0] - weights[1] * x) / weights[2]
    ax.plot(x, y)
    plt.xlabel('X1')
    plt.ylabel('X2')
    plt.show()

这里设置sigmoid函数的x为0，因此设定 $0=w_0x_0+w_1x_1+w_2x_2$ ，然后解出两个特征X2和X1的关系式，此处X0=1。

训练算法：随机梯度上升：

上述算法，每次更新回归系数，都需要遍历整个数据集，就会使得计算复杂度过高。

随机梯度上升算法：一次仅用，一个样本点来更新回归系数。因此可在新样本到来时，对分类器进行增量式更新（在线学习）。

一个判断优化算法优劣的可靠方法是：看它是否收敛，也就是说参数是否达到了稳定值。

def stocGradAscent1(dataMatrix, classLabels, numIter=150):
    m, n = shape(dataMatrix)  # 100x3
    weights = ones(n)  # 3
    for j in range(numIter):
        dataIndex = range(m)
        for i in range(m):
            # 每次迭代都会调整，0.0001防止α为0
            # 若处理的问题是动态变化，则适当加大上述常数项，确保新的值，获得更大的回归系数
            alpha = 4 / (1.0 + j + i) + 0.0001
            # 当j<<max(i)时，alpha就不是严格下降的，避免参数严格下降，见于模拟退火算法
            randIndex = int(random.uniform(0, len(dataIndex)))
            # 随机选取样本来更新回归系数
            h = sigmoid(sum(dataMatrix[randIndex] * weights))
            error = classLabels[randIndex] - h
            weights = weights + alpha * error * dataMatrix[randIndex]
            # 从列表中删除该值
            del (dataIndex[randIndex])
    return weights

ps：系数没有出现周期性波动，归功于样本随机选择机制。仅遍历20次左右数据集，系数即可收敛。