1:逻辑回归
机器学习有回归与分类
我们可以按照任务的种类,将任务分为回归任务和分类任务.按照较官方些的说法,
输入变量与输出变量均为连续变量的预测问题是回归问题。输出变量为有限个离散变量的预测问题成为分类问题。
不同的人对应不同的身高与体重,我们显然可以看作一个连续的模型,但如果医学上的检测一个人是否患有肿瘤,这个显然只有两种可能,有或者没有,这是一个离散的模型。
简单的来说它是线性回归的一种,事实上它是一-个被logistic方程归一化后的线性回归。在许多实际问题中,比如流行病学常研究的二分类因变量(患病与未患病、阳性与阴性等)与一(X1X2*.*. Xn))自变量的关系这类问题时,我们需要回归产生一个类似概率值(0-1)之间的数值来进行预测。这种情况下这个数值必须是0^ 1之间,而线性回归就显得无能为力了,因此人们引入了Logistic方程来做归一化。使得因变量的取值框定在了0^ 1之间。这种变换方法我们就称之为逻辑回归。
逻辑回归又称Logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘、疾病自动诊断、经济预测等领域。逻辑回归从本质来说属于二分类问题。(通过控制一定的阈值把问题分为两类结果)例如一个患肿瘤的概率为0.01我们通常则可认为它没患肿瘤,但如果一个人患肿瘤的概率为0.99我们则通常认为它患肿瘤。
逻辑回归的原理是用逻辑函数把线性回归的结果(-∞,∞)映射到(0,1)
这是一个线性函数,我们需要处理把它的结果控制在(0,1)
我们需要借助sigmoid函数
sigmoid函数 (又称逻辑回归函数)
该函数有一个很好的特性就是在实轴域上y的取值在(0,1),且有很好的对称性,对极大值和极小值不敏感(因为在取向无论是正无穷还是负无穷的时候函数的y几乎很稳定)
把线性回归函数的结果y,放到sigmod函数中去,就构造了逻辑回归函数。由y的值域和sigmod函数的值域知,在逻辑回归函数中用sigmod函数把线性回归