机器学习实战第5章--线性回归

原创

于 2018-05-21 16:40:33 发布 · 358 阅读

CC 4.0 BY-SA版权

该博客介绍了线性回归在机器学习中的应用，通过Python实现逻辑回归算法，包括梯度上升优化算法的两种版本：常规梯度上升和随机梯度上升。此外，还展示了如何使用这些算法在数据集上训练模型并绘制最佳拟合曲线。最后，以马的死亡率问题为例，应用随机梯度上升算法进行分类，并计算错误率。

Logregres.py
from numpy import *
import matplotlib.pyplot as plt
def loadDataSet():
    dataMat = []; labelMat = []
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0,float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat,labelMat
def sigmoid(inX):
    return 1.0/(1+exp(-inX))
#logistic回归梯度上升优化算法
def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn)             #convert to NumPy matrix
    labelMat =mat(classLabels).transpose() #convert to NumPy matrix
    m,n = shape(dataMatrix)
    alpha = 0.001
    maxCycles = 500
    weights = ones((n,1))
    for k in range(maxCycles):              #heavy on matrix operations
        h = sigmoid(dataMatrix*weights)     #matrix mult
        error = (labelMat - h)              #vector subtraction