逻辑回归（非线性回归）

逻辑回归是一种分类算法，用于2元分类两种情况，也可以使用‘一对余’的思想来实现多元分类

sigmoid function、logistic function

sigmoid function、logistic function都是同一种函数，如下：
$$y=\frac{1}{1+e^{-x}}$$
函数值范围在(0,1)，图像如下：

假设函数

$$h_{\theta }(x)=\frac{1}{1+e^{-F_{\theta }(x)}}$$
说明

• $h_{\theta }(x)$表示条件概率P(y=1|x;θ)（给定参数θ，具有x特征的条件下发生y=1的概率）
• $F_{\theta }(x)=0$为决策边界，决策边界就是区分y=0、1这两种情况的边界。
  如下图：
  
  $-1+x_1^2+x_2^2=1$为区分o和x的决策边界。该决策边界以外的是y=1的情况，以内是y=0的情况。
  注意，决策边界是假设函数及其参数的一个属性，不是训练集的属性。
  逻辑回归的单样本代价函数
  $$cost(h_{\theta }(x),y)=\{\begin{array}{l}-log(h_{\theta }(x)),y=1\\ -log(1-h_{\theta }(x)),y=0\end{array}$$
  可以合并成$cost(h_{\theta }(x),y)=-ylog(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x))$
  整体代价函数
  $$J(\theta )=\frac{1}{m}cost(h_{\theta }(x),y)$$

例子代码

import numpy as np
import random 
from dask.array.routines import gradient
from blaze.expr.expressions import shape

# 梯度下降算法，返回接近theta的局部最优解
def gradientDescent(x,y,theta,alpha,m,numIterartions):
    xTrains = x.transpose()  #x转置
    for i in range(0,numIterartions):
        hypothesis = np.dot(x,theta) #hypothesis是y的估计值
        loss = hypothesis - y #误 差
        cost = np.sum(loss **2)/(2*m)
        print("Iteration %d | Cost: %f"%(i,cost))
        gradient = np.dot(xTrains,loss) / m #gradient是梯度
        theta = theta -alpha*gradient
    return theta
#该函数用于构造数据
def genData(numPoints,bias,variance):
    x = np.zeros(shape=(numPoints,2))
    y = np.zeros(shape=numPoints)
    for i in range(0,numPoints):
        x[i][0]=1
        x[i][1]=i
        y[i] = (i + bias) + random.uniform(0,1)*variance
    return x,y
x,y = genData(100, 25, 10)
print("x")
print(x)
print("y")
print(y)
print("x.transpose()")
print(x.T)
m,n = np.shape(x)
n_y  = np.shape(y)
  
print("x shape:"+str(m)+","+str(n))
print("y length:"+str(n_y))

numIterartions = 100000
alpha = 0.0005#学习率
theta = np.ones(n)
# x是实例，y是标记，theta是参数，alpha是学习率，m是实例个数，numIterartions是更新次数
theta = gradientDescent(x, y, theta, alpha, m, numIterartions)
print(theta)