logistic回归的梯度计算

最新推荐文章于 2022-12-07 19:30:20 发布

cs_wyong

最新推荐文章于 2022-12-07 19:30:20 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习基础文章标签：逻辑回归

本文链接：https://blog.youkuaiyun.com/cs_wyong/article/details/79118509

这篇博客详细解析了logistic回归模型中损失函数的梯度计算过程，通过sigmoid激活函数和损失函数的定义，逐步推导出梯度的表达式，揭示了误差项与输入项的关系。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在logistic回归中，假设我们的训练集由m个已标记样本组成：\[\{ ({x^{(1)}},{y^{(1)}}),...,({x^{(m)}},{y^{(m)}})\} \]且激活函数为sigmoid函数：\[{h_\theta }(x) = \frac{1}{ {1 + {e^{ - {\theta ^T}x}}}}\]损失函数为:\[J(\theta ) = - \frac{1}{m}\sum\limits_{i = 1}^m {[{y^{(i)}} \cdot log{h_\theta }({x^{(i)}}) + (1 - {y^{(i)}}) \cdot log(1 - {h_\theta }({x^{(i)}}))]} \]则损失函数对参数的梯度的第j个分量为:\[\begin{gathered}
{\nabla _{ {\theta _{\text{j}}}}}J(\theta ) &=& - \frac{1}{m}\sum\limits_{i = 1}^m {[{y^{(i)}} \cdot \frac{1}{ { {h_\theta }({x^{(i)}})}} \cdot ( - {h_\theta }^2({x^{(i)}})) \cdot {e^{ - {\theta ^T}{x^{(i)}}}} \cdot ( - {x^{(i)}})} \\
&& + (1 - {y^{(i)}}) \cdot \frac{1}{ {1 - {h_\theta }({x^{(i)}})}} \cdot {h_\theta }^2({x^{(i)}}) \cdot {e^{ - {\theta ^T}{x^{(i)}}}} \cdot ( - {x^{(i)}})] \\
&= & - \frac{1}{m}\sum\limits_{i = 1}^m {[{y^{(i)}}{h_\theta }({x^{(i)}}) \cdo