逻辑回归

逻辑回归（对数几率回归）

表面理解

逻辑回归就是基于多元线性回归的缩放。
就是在计算多元线性回归之后，把输出经过下式

为啥这么做呢？
为了解决连续的线性函数不适合进行分类的问题, 我们引入非线性函数 sigmoid，也称之为激活函数。
其实就是把线性函数的值域从实数区间 “挤压” 到了 (0, 1) 之间, 可以用来表示概率

把上式变换一下，就成了对数几率的形式。

目的

就是用来做二分类任务的，经过sigmoid函数之后，被压缩到0~1之间，小于0.5的一类，大于0.5的一类。

损失函数

Q：做回归预测损失函数是什么？
A：平方均值损失函数MSE

Q：做分类损失函数是什么？
A：做分类损失函数是交叉熵！

Q：什么是熵？
A：熵是一种测量分子不稳定性的指标，分子运动越不稳定，熵就越大，来自热力学
熵是一种测量信息量的单位，信息熵，包含的信息越多，熵就越大，来自信息论
熵是一种测量不确定性的单位，不确定性越大，概率越小，熵就越大！

Q：熵和概率是什么一个关系？
A：随着概率的减小，熵会增大

交叉熵（专门为二分类设计的损失函数）

损失函数：

求个导：

发现还是线性回归嘛。
推到过程。。。。看图：

Q：为什么本质是多元线性回归？
A：1，公式，首先应用了多元线性回归的公式，其次才是把多元线性回归的结果，交给sigmoid函数去进行缩放
2，导函数，逻辑回归的损失函数推导的导函数，整个形式上和多元线性回归基本一致，
只是y_hat求解公式包含了一个sigmoid过程而已

Q：逻辑回归的损失函数是什么？
A：交叉熵，做分类就用交叉熵，-ylogP，因为逻辑回归是二分类，所以
loss func = (-ylogP + -(1-y)*log(1-P))，也就是说我们期望这个损失最小然后找到最优解
事实上，我们就可以利用前面学过的梯度下降法来求解最优解了

Q：逻辑回归为什么阈值是0.5？
A：因为线性回归区间是负无穷到正无穷的，所以区间可以按照0来分成两部分，所以带到sigmoid公式里面去z=0的话，y就等于0.5

Q：逻辑回归做多分类？
A：逻辑回归做多分类，把多分类的问题，转化成多个二分类的问题，如果假如要分三个类别，就需要同时
训练三个互相不影响的模型，比如我们n个维度，那么三分类，w参数的个数就会是(n+1)*3个参数
上面所谓的互不影响，指的是模型在梯度下降的时候，分别去训练，分别去下降，三个模型互相不需要
传递数据，也不需要等待收敛