<机器学习练习>逻辑斯谛回归

一：线性回归

线性回归假设特征和结果满足线性关系。线性回归，就是线性拟合，拟合就是找到那条线，对残差平方和最小的那条直线。
比如说：我们要模拟房子的大小($x_{1}$)，房子的位置($x_{2}$)。。。对于房价($y$)的影响。假设他们是线性关系。则，我们要找的是特征${x_{1},x_{2}}...$ 和房价($y$)的关系:

$$h(\theta)=\theta_{0}+\theta_{1}x_{1}+\theta_{2}x_{2}....=\theta^TX$$

如果我们把$\theta$ 这个参数求出来，那么对于新的特征，就可以进行计算预测房价了。
对于$\theta$ 的计算，即是求出$\theta$，使得残差平方和最小。

$$\min \frac{\sum_{i=1}^n(h(\theta)-y_{i})^2}{2}$$

对于使用，残差平方和来作为损失函数，利用最大似然估计，来给出解释。
由于线性回归模型中，$y=\theta^TX+\epsilon$，其中$\epsilon$ 为噪声，其服从高斯分布。也即是$y-\theta^TX$ 服从高斯分布。
对于任意样本${x_{i},y_{i}}$ ，则其条件概率密度为：

则其似然函数为：

然后，对似然函数取对数：

因此，最大似然函数估计$\theta$ 等价于残差平方和最小。

二：逻辑斯谛回归

逻辑斯谛回归，名称上是回归，其实是${0,1}$分类。他和线性回归有很大联系。本质上是线性回归到结果中间的映射上，加入一个函数，而这个函数，取为$sigmod$ 函数。首先，对线性回归求和，然后经过$sigmod$ 函数，映射到${0,1}$进行问题分类。

1)逻辑斯谛模型满足的条件概率分布：

如果对于测试样本$x$，计算不同类别下的概率，即可以分类。所以，目前是利用训练样本进行参数$\theta$ 的估计求解。

2)参数$\theta$ 的估计求解
利用最大似然法估计模型参数。

  1：写出条件概率分布函数
  2：写出似然函数（训练样本满足独立，则其条件概率密度函数连乘）
  3：写出对数似然函数，求导，等于0.(参数是个向量，则分别进行求偏导)

对于逻辑斯谛回归来说，是梯度上升法来求对数似然函数的极大值的。

$$\theta^{k+1}=\theta^{k}+a \nabla L(\theta)$$
其中是步长。
其中似然函数如下：

当参数是向量时，分部进行求偏导计算。

3)程序

# -*- coding: utf-8 -*-

from numpy import *

def loadDataSet ():    #构造数据集 和标签
    dataMat=[];
    labelMat=[];
    fr=open('testSet.txt')
    for  line in fr.readlines():
        lineArr=line.strip().split()
        dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])]) 
  #每个数据集，最前面追加1，x0=1;
        labelMat.append(int(lineArr[2]))
    return dataMat,labelMat

def sigmoid (inX):                    #sigmoid 函数
    return 1.0/(1+exp(-inX))
#随机梯度算法，一次迭代 ：分别随机的选择数据，
#          进行更新w，进行m次运算
def stocGradAscent1 (dataMatrix,classLabels,numIter=150):      
    m,n=shape(dataMatrix)       #m个数据   n 个特征
    weights=ones(n)             #初始化权重
    for j in range(numIter):
        dataIndex=range(m)
        for i in range(m):
            alpha=4/(1.0+i+j)+0.01;      # 步长不是定值
            randIndex=int(random.uniform(0,len(dataIndex)))
            h=sigmoid(sum(dataMatrix[randIndex]*weights))
            error=(classLabels[randIndex]-h)
            weights=weights+alpha*error*dataMatrix[randIndex]
            del(dataIndex[randIndex])
    return weights

#梯度上生法：  一次迭代，整个数据一次进行运算。
def gradAscent (dataMatIn,classLabels):
    dataMatrix=mat(dataMatIn)
    labelMat=mat(classLabels).transpose()
    m,n=shape(dataMatrix)
    alpha=0.001
    maxCycles=20
    weights=ones((n,1))
    for k in range(maxCycles):
        h=sigmoid(dataMatrix*weights)
        error=(labelMat-h)
        weights=weights+alpha*dataMatrix.transpose()*error
    return weights

#画图函数
def plotBestFit (wei):
    import matplotlib.pyplot as plt
    weights=array(wei)
    dataMat,labelMat=loadDataSet()
    dataArr=array(dataMat)
    n=shape(dataArr)[0]
    xcord1=[];
    ycord1=[];
    xcord2=[];
    ycord2=[];
    for i in range(n):
        if int(labelMat[i])==1:
            xcord1.append(dataArr[i,1]);
            ycord1.append(dataArr[i,2]);
        else:
            xcord2.append(dataArr[i,1]);
            ycord2.append(dataArr[i,2]);

    fig=plt.figure()
    ax=fig.add_subplot(111)
    ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')
    ax.scatter(xcord2,ycord2,s=30,c='green',marker='s')
    x=arange(-3.0,3.0,0.1)
    y=(-weights[0]-weights[1]*x)/weights[2]  
     ##由sigmoid 可知：0=w0+w1*x1+w2*x2为分类线
    ax.plot(x,y)
    plt.xlabel('X1');
    plt.ylabel('X2');
    plt.show()

分类的结果：

下面给出对于新样本的分类函数。

  #分类判别      
def classifyVector (inX,weights):
    prob=sigmoid(sum(inX*weights))
    if prob>0.5:
        return 1.0
    else:
        return 0.0

参考文献：
斯坦福机器学习，吴恩达。
《机器学习实战》。