逻辑（logistic）回归

最新推荐文章于 2025-01-05 21:09:09 发布

legotime

最新推荐文章于 2025-01-05 21:09:09 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：基础算法文章标签： logistic回归

本文链接：https://blog.youkuaiyun.com/legotime/article/details/51312393

基础算法专栏收录该内容

5 篇文章

订阅专栏

本文详细介绍了逻辑回归算法的基本原理，包括Sigmoid函数的应用、损失函数的定义及其计算方式，并通过一个简单的实验进行了验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

回忆

----------------------------------------------------------------------------------------------------------------------

训练集合

其中 $x^{i}$ 有n个特征, $y^{i}$ 只有一个，那么假如有如下关系：

$y = \theta _{0}+\theta _{1}x_{1}+...+\theta _{n}x_{n}=\Theta X$

则: $X=\begin{bmatrix} x_{0}\\ x_{1} \\ ... \\ x_{n} \end{bmatrix}$

-----------------------------------------------------------------------------------------------------------------------

Logistic函数（Sigmoid函数）：

$h_{\theta }(x)=\frac{1}{1+e^{-\Theta^{T}X }}$

让 $z=e^{\theta _{0}+\theta _{1}x_{1}+...\theta _{n}x_{n}}=e^{\Theta X}$ 则：

$h_{\theta }(x)=\frac{1}{1+e^{-z}}$

cost function:

其中：

计算 $\theta _{j}$ ,

处理步骤：

$\left\{\begin{matrix} \left\{\begin{matrix} temp_{0}=\theta _{0}-a\frac{\partial }{\partial \theta _{0}}J(\theta _{0},\theta _{1},...\theta _{n})\\ temp_{1}=\theta _{1}-a\frac{\partial }{\partial \theta _{1}}J(\theta _{0},\theta _{1},...\theta _{n}) \\ temp_{0}=\theta _{0}-a\frac{\partial }{\partial \theta _{0}}J(\theta _{0},\theta _{1},...\theta _{n}) \\ temp_{n}=\theta _{n}-a\frac{\partial }{\partial \theta _{n}}J(\theta _{0},\theta _{1},...\theta _{n}) \end{matrix}\right.\\ \left\{\begin{matrix} \theta _{0}=temp_{0}\\ \theta _{1}=temp_{1} \\ ....... \\ \theta _{n}=temp_{n} \end{matrix}\right. \end{matrix}\right.$

其中：

$\theta _{j}=\theta _{j}-a\frac{\partial }{\partial \theta _{j}}J(\Theta )=\theta _{j}-\frac{a}{m}\sum_{i=1}^{m}(h_{\theta }(x^{i})-y^{i})x^{i}$

现在来证明logistic函数和线性回归函数的梯度表达是一样的：

线性回归的梯度： $\theta _{j}=\theta _{j}-a\frac{\partial }{\partial \theta _{j}}J(\Theta )=\theta _{j}-\frac{a}{m}\sum_{i=1}^{m}(h_{\theta }(x^{i})-y^{i})x^{i}$

logistic的梯度：

$z=\frac{1}{1+e^{-\theta x}}$

$z_{\theta }^{'}=\frac{-e^{-\theta x}}{(1+e^{-\theta x})^{2}}\times (-x)=z(z-1)x$

又因为： $J = ylogz+(1-y)log(1-z)$

那么：

$\frac{\partial }{\partial \theta _{i}}J(\theta _{0},\theta _{1},...\theta _{n})=J_{\theta }^{'}=y\frac{1}{z}z_{\theta }^{'}+(1-y)\frac{-z_{\theta }^{'}}{1-z}$

$J_{\theta }^{'}=z_{\theta }^{'}(\frac{y}{z}-\frac{1-y}{1-z})=z(z-1)x\frac{y-yz-z+yz}{z(1-z)}=(y-z)x$

其中z就是式中的h，所以和线性回归一样的梯度函数：

$\theta _{j}=\theta _{j}-a\frac{\partial }{\partial \theta _{j}}J(\Theta )=\theta _{j}-\frac{a}{m}\sum_{i=1}^{m}(h_{\theta }(x^{i})-y^{i})x^{i}$

实验：

%逻辑回归

%初始数据  
x=[-3;      -2;     -1;     0;      1;      2;     3];  
y=[0.01;    0.1;   0.3;    0.45;   0.8;    0.8;    0.99];  
plot(x,y,'ro');  
hold on  

%拟合
m = length(y);
theta = [0 0];  
a=0.005;  
loss = 1;  
iters = 1;  
eps = 0.0001;  
while loss >eps && iters <100
    loss = 0;
    for i = 1:length(y)
        h = 1./(1+exp(-(theta(1)+theta(2)*x(i))));
        theta(1)=theta(1)+a*(y(i)-h);  
        theta(2)=theta(2)+a*(y(i)-h)*x(i,1);  
        err = theta(1)+theta(2)*x(i,1)-y(i);  
        loss = loss+err*err/m; 
    end
     iters = iters+1;
end
iters  
theta 

%画图对比
for x = -3:0.01:3
     h = 1./(1+exp(-(theta(1)+theta(2)*x)));
     plot(x,h);  
end
hold off