《机器学习实战》-Logistic回归（2）

最新推荐文章于 2022-09-18 10:18:44 发布

ccccCi归宿

最新推荐文章于 2022-09-18 10:18:44 发布

阅读量306

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习实战文章标签：机器学习

本文链接：https://blog.youkuaiyun.com/caihh2017/article/details/79232612

机器学习实战专栏收录该内容

7 篇文章

订阅专栏

本文介绍如何使用Logistic回归处理带有缺失数据的疝气病症案例，通过特定策略填充缺失值，并利用训练集计算最优权重，最终在测试集上评估模型准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Logistic回归

示例：从疝气病症预测病马的死亡率

数据缺失

此示例的数据存在缺失性的问题，所以首先应该解决这个问题
对于某些特征缺失的，如果该特征一般不会取0，那可以用0代替该特征值，在更新梯度公式中，如果该特征值为0，则不会更改其权重值。
对于某些类别缺失的，可以直接将该数据丢弃。

测试算法


def classifyvector(inx,weight):
    prob=sigmoid(sum(inx*weight))
    if prob>0.5 : return 1.0
    else : return 0.0

def colictest():
    frtrain = open('horseColicTraining.txt')
    frtest = open('horseColicTest.txt')
    trainingset=[]
    traininglabels=[]
    for line in frtrain.readlines():
        currline=line.strip().split('\t')
        linearr=[]
        for i in range(21):
            linearr.append(float(currline[i]))
        trainingset.append(linearr)
        traininglabels.append(float(currline[-1]))
    trainWeights = stocgradascent1(array(trainingset),traininglabels,500)
    errorcount = 0;numtestvec=0.0
    for line in frtest.readlines():
        numtestvec += 1
        currline=line.strip().split('\t')
        linearr=[]
        for i in range(21):
            linearr.append(float(currline[i]))
        if int(classifyvector(linearr,trainWeights)) != int(currline[-1]):
            errorcount +=1
        errorrate=float(errorcount/numtestvec)
    return errorrate

本节的函数会用到上一节的函数。
第一个函数就是判定函数了，因为实际上算出来的以sigmoid概率的形式，所以以0.5为分界点进行判定
第二个函数就是具体的分类函数了
先从数据集中读取训练集和测试集
然后用训练集计算最优权重
用测试集验证求出错误率
一气呵成...没有什么新东西