逻辑回归中偏导数的推导详解

最新推荐文章于 2024-03-18 23:13:10 发布

Doc_Cheng

最新推荐文章于 2024-03-18 23:13:10 发布

阅读量3k

点赞数 14

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：机器学习人工智能逻辑回归链式法则

本文链接：https://blog.youkuaiyun.com/weixin_43008870/article/details/88049062

本文详细解析了逻辑回归中代价函数的偏导数推导过程，利用链式法则，逐步展开并计算得到关于参数θ的偏导数∂θ∂J，该偏导数表达式为m1i=1∑m[hθ(x(i))−y(i)]x(i)。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

逻辑回归问题中的代价函数为：
　　　　 $J=−1m∑i=1m[y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]J=-\frac{1}{m}\sum\limits_{i=1}^{m}{[y^{(i)}logh_\mathbf{\theta}(\mathbf{x}^{(i)})+(1-y^{(i)})log(1-h_\mathbf{\theta}(\mathbf{x}^{(i)}))]}$ ，其中， $g(z)=11+e−zh_\theta(x)=g(\mathbf{\theta}^T\mathbf{x}), g(z)=\frac{1}{1+e^{-z}}$ 。
　　其关于参数 $θ\mathbf{\theta}$ 的偏导数为:
　　　　 $∂J∂θ=1m∑i=1m[hθ(x(i))−y(i)]x(i)\frac{\partial{J}}{\partial{\mathbf{\theta}}}=\frac{1}{m}\sum\limits_{i=1}^{m}{[h_{\mathbf{\theta}}(\mathbf{x}^{(i)})-y^{(i)}]\mathbf{x}^{(i)}}$
　　下面介绍一下偏导数推导过程：
　　偏导数推导的原理是链式法则，即：若有 $y = f (g (x))$ ，则有 $∂y∂x=∂f∂g⋅∂g∂x\frac{\partial{y}}{\partial{x}}=\frac{\partial{f}}{\partial{g}}\cdot{\frac{\partial{g}}{\partial{x}}}$ 。
　　运用链式法则，有
　　　　 $∂J∂θ=∂J∂h∂h∂g∂g∂θ\frac{\partial{J}}{\partial{\mathbf{\theta}}}=\frac{\partial{J}}{\partial{h}}\frac{\partial{h}}{\partial{g}}\frac{\partial{g}}{\partial{\mathbf{\theta}}}$