Logistic回归（随机梯度上升）

最新推荐文章于 2023-12-04 23:38:29 发布

原创最新推荐文章于 2023-12-04 23:38:29 发布 · 3.9k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #监督学习 #算法 #Python #Logistic

算法同时被 3 个专栏收录

29 篇文章

订阅专栏

机器学习

24 篇文章

订阅专栏

有监督学习

19 篇文章

订阅专栏

本文深入探讨了随机梯度上升算法在回归分析中的应用，相较于梯度上升优化算法，它通过逐个样本点更新回归系数，显著减少了计算复杂度，特别适用于大规模数据集的学习任务。

由于梯度上升优化算法在每次更新数据集时都需要遍历整个数据集，计算复杂都较高，这里有一个随机梯度上升算法也可以求得回归系数，这种算法一次只用一个样本点来更新回归系数。

def stocGradAscent0(dataMatrix, classLabels):
    m,n = shape(dataMatrix)
    alpha = 0.01
    weights = ones(n)   #initialize to all ones
    for i in range(m):
        h = sigmoid(sum(dataMatrix[i]*weights))
        error = classLabels[i] - h
        weights = weights + alpha * error * dataMatrix[i]
    return weights

这个算法与梯度上升优化算法很相似，但是也有些区别，后者h和error都是向量，这里都是数值，这里没有矩阵转换过程。