logistic分类

最新推荐文章于 2025-05-19 14:31:01 发布

原创

最新推荐文章于 2025-05-19 14:31:01 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了Logistic分类的原理，利用sigmoid函数进行二分类。详细阐述了代价函数的设计，采用最大似然性，并探讨了参数求解过程，特别是梯度下降法的应用。还分享了模型训练的代码实现，包括批梯度下降和随机梯度下降，并讨论了代价函数与收敛性。最终，通过sigmoid输出与0.5阈值比较来确定类别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、原理：使用sigmod函数将回归映射到分类。二分类，
2、代价函数：使用概率分布、伯努利方程设计最大似然性为代价函数
目标函数：最小化 -似然最大
3、参数求解：梯度下降(上升？)
数学推导：sig’=h*(1-h)
4、模型训练代码：
（1）批梯度下降和随机梯度下降
（2）关于代价函数和收敛

# -*- coding: utf-8 -*-
import numpy as np
from sklearn import datasets

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

def data_initial():
    dataset =datasets.load_iris()

    X = dataset.data[0:100]
    Y = dataset.target[0:100]
    return X, Y

# 批梯度下降每次使用全部样本对参数更新
def BGD_grad_descent(dataMatIn, classLabels):
    dataMatrix = np.mat(dataMatIn)  #(m,n)
    labelMat = np.mat(classLabels).transpose()
    m, n = np.shape(dataMatrix)
    print m
    weights = np.ones((n, 1))  #初始化回归系数（n, 1)
    alpha = 0.001 #步长
    maxCycle = 500  #最大循环次数
    J= []
    Accuracy= 0.001
    for i in range(maxCycle):
        h = sigmoid(dataMatrix * weights)  #sigmoid 函数
        error= labelMat - h
        labelhat= np.ones(m)
        #代价函数；可以设置最大迭代次数，或者设置代价函数的值收敛到一个范围
        cost= np.dot(classLabels, np.l