机器学习之---LR理解及推导（详细）

最新推荐文章于 2025-04-24 10:18:47 发布

原创

最新推荐文章于 2025-04-24 10:18:47 发布 · 2.4k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#LR公式推导

本文详细介绍了逻辑回归（LR）的背景知识，包括逻辑斯特函数、多元线性函数和极大似然估计。重点在于LR的推导过程，针对二分类问题，讨论了如何将线性函数转换为概率，并通过极大似然估计求解参数。文章最后提到了使用梯度下降法进行权重更新，并预告了后续可能涉及的正则化内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

机器学习之------LR的理解及公式推导（详细）

本文两部分内容
第一部分简单知识补充（借鉴）
第二部分LR推导（细节亲自推导并献上）
本文特点，公式推导详细，但由于本人实在木有耐心在这里面编辑公式，所以在word编辑好后粘贴过来的图片尽请谅解…
如有雷同纯属借鉴，就是总结一下而已，如有不妥欢迎指正。极大似然估计引用如下：
https://blog.youkuaiyun.com/qq_39355550/article/details/81809467
--------------------------------------------------------华丽分割线--------------------------------------------------

一、推导前知识补充

1、逻辑斯特函数的由来
假设一件事情发生的概率为p，则不发生的概率为1-p，定义概率比p/(1-p)
定义logit函数
在这里插入图片描述
对其求反函数得

其作用是可以将(-∞,+∞)的输入映射到(0,1)区间，其输出可以作为概率使用。
2、多元线性函数
若一个样本的设为x，特征维度为t，要学习的参数θ维度为t，即

则多元线性函数表示为：