logistic回归

关注

原创最新推荐文章于 2026-05-18 10:15:17 发布 981 阅读 AI 写同款· GEO 优化 ›

第13章Stata Logistic回归分析前面我们讲述得回归分析方法都要求因变量是连续变量，但很多情况下因变量是离散得而非连续得。例如，公司招聘人才时根据对应聘人员得特征做出录用或者不录用得评价、毕业学生对职业得选择等。这时就需要用到Logistic回归分析。根据因变量得离散特征：常用得Logistic回归分析方法有3终，包括二元Logistic回归分析、多元Logistic回归分析以及有序Logistic回归分析等。 13.1二元Logistic回归分析我们经常会遇到因变量只有两种取值的情况，例如是否患病、是... 阅读详情

写这篇博文用了很多时间和精力，如果这篇博文对你有帮助，希望您可以打赏给博主相国大人。哪怕只捐1毛钱，也是一种心意。通过这样的方式，也可以培养整个行业的知识产权意识。我可以和您建立更多的联系，并且在相关领域提供给您更多的资料和技术支持。

赏金将用于拉萨儿童图书公益募捐
手机扫一扫，即可：
这里写图片描述

附：《春天里，我们的拉萨儿童图书馆，需要大家的帮助》

主要内容：
深入浅出Logistic回归
一些实验和实战

我的其他博文
softmax回归及其实现（TensorFlow）
感知机实现:python

1，logistic“回归”

本节主要内容为：线性判别模型与感知机，广义线性模型，训练算法，python实现。
下面这个是一个感知机的示意图，也可以看成是一个分类器示意图。

图1.1
SUM模块将输入数据按照各个维度进行加权求和，得到的结果送入

f f $f$ 模块。
SUM模块可以写成:

y = ω^{T} x + b

$y=\omega^Tx+b$ ，为了后面的处理更加方便。我们将

ω ω $\omega$ 和

x x $x$ 进行增广，这样SUM模块可以写成：

y = ω^{T} x

$y=\omega^Tx$

f f $f$ 模块是判别函数。他将SUM得到的结果进行处理，从而进行类别的判断。
这里需要说明的是：当我们说判别模型是线性时，指的就是这个f为线性的
对于

f

$f$ 常见的有两种，一种是阶跃函数，另一种叫做sigmod函数。由于阶跃函数存在不连续点，不容易处理。因此更常用的是sigmod函数：

y = 1 1 + e x p ( - ω T x )

$y=\frac{1}{1+exp\left(-\omega^Tx \right )}$
函数图像为：
这里写图片描述

这个函数的输出是介于0和1之间的数。我们一般用它来模拟概率。并且当输出大于0.5时，认为是正例。反之为负例。
这里需要说明的是：sigmod函数输出的是概率，因此这也是logistic回归的优秀之处。

这个函数本身并不是线性的。因此我们考虑，能够通过某种变换，得到一个线性函数？考虑如下的变化：

l n y 1 - y = ω T x

$ln\frac{y}{1-y}=\omega^Tx$ 可以看到，通过变换

lny1−y l n y 1 − y $ln\frac{y}{1-y}$ 我们得到了一个线性函数。

一般的，我们把 $y$ 与 $x$ 之间为线性关系的判别函数叫做（狭义/通俗/一般）线性判别函数，而把 $y$ 的某种变换与输入 $x$ 之间为线性关系的，叫做广义线性判别函数
因此，我们说logistic回归，是（广义）线性的。由他得到的图1.1叫做logistic分类器。sigmod函数在这里也别叫做logistic函数。现在我们有一批训练数据，我们希望通过训练得到比较好的

ω ω $\omega$ ，这样再给我们一个输入时，就可以据此来预测分类了。下面我们介绍训练算法。
这里需要说明的是，不同的判别函数，有各自的优化目标，因此对应的训练也是不同的 举例说明，如果我们的

f f $f$ 函数是阶跃函数，那么我们的优化目标可以写为：

L (ω, b) = - \sum_{x_{i} \in M} y_{i} (ω \cdot x_{i} + b)

$L \left( \omega ,b \right)=- \sum_{x_i \in M}y_i\left( \omega \cdot x_i +b\right)$
其中

M M $M$ 为误分类点的集合。这是一个损失函数，我们希望它取得最小值。对于这个函数，可以采用梯度下降法。具体可以见我的另一篇博文《感知机实现python》
对于logistic回归，我们刚才说到，logistic函数给出的是一个类概率。因此这里我们采用似然函数作为优化目标。logistic函数的输出

y

$y$ ，可以看做是

P(y=1|x) P ( y = 1 | x ) $P \left( y=1 |x \right)$ ，因此我们的似然函数可以写为：

l (ω) = Π n i = 1 (P (Y = 1 | x i) y i (1 - P (Y = 1 | x i)) 1 - y i)

$l\left( \omega\right)=\Pi_{i=1}^n\left( P(Y=1|x_i)^{y_i}\left(1-P(Y=1|x_i)\right)^{1-y_i}\right)$ 这里

y y $y$ 取值为0或1，相应的对数似然为:

L (ω) = \sum_{i = 1}^{n} (y_{i} ω^{T} x_{i} - l n (1 + e x p (ω^{T} x_{i})))

$L\left( \omega \right)=\sum_{i=1}^n\left( y_i\omega^Tx_i-ln\left(1+exp(\omega^Tx_i)\right)\right)$
对此求关于

ω ω $\omega$ 的偏导数。得到:

\partial L ( ω ) \partial ω = ▽ ω L (ω) = \sum i = 1 n (y i - 1 1 + e x p ( - ω T x i )) x i = X T E r r o r s

$\frac{\partial L\left(\omega \right )}{\partial \omega}=\bigtriangledown_\omega L\left(\omega \right ) =\sum_{i=1}^{n}\left(y_i-\frac{1}{1+exp\left(-\omega^Tx_i \right )} \right )x_i=X^TErrors$
其中

Errors E r r o r s $Errors$ 是由一些列的

y i - 1 1 + e x p ( - ω T x i ) = y i - l o g i s t i c (ω T x i)

$y_i-\frac{1}{1+exp\left(-\omega^Tx_i \right )}=y_i-logistic\left( \omega^Tx_i\right )$ 构成的误差向量。
我们的目标是对似然函数做极大似然估计，你可以另导数为0，然而我们发现这样得不到解析解。所以我们转而采用梯度上升法。可以看到，这里的梯度就是误差向量与输入矩阵的乘积。关于梯度上升法，我已经在《感知机实现python》中做了详细的实现和讲解。此处不再赘述。
代码实现：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@author: XiangguoSun
@contact: sunxiangguodut@qq.com
@file: logistic.py
@time: 2017/3/5 9:58
@software: PyCharm
"""
import numpy as np 
from numpy import *
import matplotlib.pyplot as plt 

def drawSamples(plt,Input):
    m, n=shape(Input)
    target = Input[:,-1] 
    for i in xrange(m):
        if target[i]==0:
            plt.scatter(Input[i,0],Input[i,1],c='blue',marker='o')
        else:
            plt.scatter(Input[i,0],Input[i,1],c='red',marker='s')   

def buildMat(dataSet):
    m, n = shape(dataSet)
    dataMat = zeros((m, n))
    dataMat[:, 0] = 1
    dataMat[:, 1:] = dataSet[:, :-1]
    return dataMat

# Logistic函数
def logistic(wTx):
    return 1.0/(1.0+exp(-wTx))


if __name__ == '__main__':
    #导入数据
    path = './testSet.txt'  # 数据文件路径
    Input = mat(np.loadtxt(path, dtype=float))
    target = Input[:,-1] #获取分类标签列表
    [m,n] = shape(Input) 

    #构建b+x 系数矩阵：b这里默认为1
    dataMat = buildMat(Input)

    #定义步长和迭代次数 
    alpha = 0.001 # 步长
    steps = 500  # 迭代次数
    weights = ones((n,1))# 初始化权重向量
    weightlist=[]
    #主程序
    for k in xrange(steps):
        gradient = dataMat*mat(weights) # 梯度
        output = logistic(gradient)  # logistic函数
        errors = target-output # 计算误差
        weights = weights + alpha*dataMat.T*errors  
        weightlist.append(weights)#这个作用时候为了日后分析各个参数变化

    print weights#输出训练后的权重

    #按分类绘制散点图
    drawSamples(plt, Input)
    #绘制训练后超平面
    X = np.linspace(-7,7,100)
    Y = -(double(weights[0])+X*(double(weights[1])))/double(weights[2])
    plt.plot(X,Y)
    plt.show()

实验结果
这里写图片描述

这里写图片描述

训练好之后，我们就可以用来分类了，分类器非常简单：

def classifier(testData,weights):
    m,n=shape(testData)
    test=zeros((m,n+1))
    test[:,0]=1
    test[:,1:]=testData

    pro=logistic(sum(test*weights))
    if pro > 0.5:
        return 1.0
    else:
        return 0.0

需要说明的是，logistic回归是一个二分类的模型（虽然名字叫回归，其实是分类模型）。那么如果我们希望进行多分类，就可以将logistic的思想推广到多分类中，也就是我们另一篇博文将要介绍的softmax 回归。softmax回归是神经网络和深度学习的最基本的概念。关于softmax回归，请见博主的这篇博文
《softmax回归及其实现（TensorFlow）》

收录于