逻辑回归是一种分类算法，适用于数据服从伯努利分布的情况。它通过极大似然估计和梯度下降法求解参数，实现二分类。与线性回归不同，逻辑回归使用对数似然函数而非平方损失函数，确保模型的全局最优解。在特征相关或重复时，逻辑回归依然能保持稳定。面试中，会讨论逻辑回归与线性回归、SVM的异同，以及sigmoid函数的作用和选择原因。
- Author: 吕雪杰，xiaoran;
- Datawhale
Logistics Regression简介
逻辑回归是在数据服从伯努利分布的假设下，通过极大似然的方法，运用梯度下降法来求解参数，从而达到将数据二分类的目的。
核心公式 对于给定的数据集 ( x i , y i ) i = 1 N , y ∈ 0 , 1 (x_i,y_i)^N_{i=1},y \in {0,1} (xi,yi)i=1N,y∈0,1 p ( y = 1 ∣ x ) = e w T x + b 1 + e w T x + b p(y=1|x)=\frac{e^{w^T x+b}}{1+e^{w^T x+b}} p(y=1∣x)=1+ewTx+bewTx+b p ( y = 0 ∣ x ) = 1 1 + e w T x + b p(y=0|x)=\frac{1}{1+e^{w^T x+b}} p(y=0∣x)=1+ewTx+b1 设 g ( x ) = p ( y = 1 ∣ x ) , 1 − g ( x ) = p ( y = 0 ∣ x ) g(x)=p(y=1|x),1-g(x)=p(y=0|x) g(x)=p(y=1∣x),1−g(x)=p(y=0∣x) 似然函数为 ∏ i = 1 N [ g ( x i ) ] [ 1 − g ( x i ) ] 1 − y i \prod^N_{i=1} [g(x_i)] [1-g(x_i)]^{1-y_i} i=1∏N[g(xi)][
最低0.47元/天 解锁文章
扫一扫
1106
到【灌水乐园】发言
