h2728677716的博客

逻辑回归主要是用来做二分类，但是对于多分类任务也可以用逻辑回归做，只是将多个分类变成多个二分类任务。比如有三个类别，类别1，类别2，类别3那么就可以将类别1和其他类别训练一个模型，类别2和其他类别训练一个模型，类别3和其他类别训练一个模型，这样亦拥有三个模型，未来有新的样本带入这三个模型中，哪个模型求得的概率最大，这个样本就属于哪个类别。...

如果我们基于逻辑回归的损失函数做GD梯度下降，那么就要求梯度，而我们知道求梯度是loss损失函数对theta求偏导。1.首先先对逻辑回归函数求导（后面对loss求偏导会用到） 2.逻辑回归损失函数可以将上式看成两部分分别求到再相加这里我们发现导函数的形式和多元线性回归一样，毕竟都是从广义线性回归来的嘛。这样就可以用上面推导的公式求出梯度g进而运用梯度下降公式反复迭代减小损失。...

前言：不管是逻辑回归还是线性回归，比较好的减少loss损失的方法就是GD梯度下降。而用梯度下降就要用到求损失函数，求损失函数就要用到最大似然估计MLE。1.逻辑回归的概率表达式对于预测正确的概率，可以将上面两个式子合并2.运用最大似然估计求出最大概率假设我们有m条样本，那么m条样本用概率公式相乘的最大值就是最大似然估计用公式表达就是：取log对数相乘符号变相加符号...

1.因为我们逻辑回归是用来做二分类，二分类有个特点就是正例概率+负例概率=1所以我们可以将二分类的结果分为0或1，如果随机变量X只取0和1两个值并且相应的概率为Pr(X=1) = p,Pr(X=0) = 1-p, 0<p<1那么随机变量X服从参数为p的伯努利分布（0-1分布）就是说二分类的话数据符合伯努利分布这种情况。概率函数：2.如果伯努利分布是指数族分布，那么就可以用广义线性回归建模，用广义线性回归的性质推出sigmoid函数。广义线性回归有三条性质

简介：1.逻辑回归虽然名字叫做回归，但是它是一种分类算法。2.逻辑回归是一种基于多元线性回归的算法，正因为如此，它是一种线性的分类算法。决策树，神经网络等算法是非线性的算法。SVM本质是线性的算法，但是可以通过核函数升维变成非线性的算法。3.逻辑回归就是在多元线性回归的基础之上吧结果缩放到0-1之间，缩放使用的函数是sigmoid函数经过sigmoid缩放后的结果越接近于正1越是正例，越接近于0越是负例。根据0.5作为分界线。是最泛化的写法代表的意思是多元线性回归经过g函数（