logistic损失函数推导

最新推荐文章于 2024-05-08 19:45:50 发布

原创最新推荐文章于 2024-05-08 19:45:50 发布 · 565 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#逻辑回归 #损失函数 #logistic

Sklearn 专栏收录该内容

1 篇文章

订阅专栏

$\qquad$ Sklearn中逻辑回归的损失函数的推导：
As an
$\qquad$ 假设y的标签为1和-1，用极大似然估计法估计模型参数, $P(Y=1|X_i)$ = $h(X_i^TW+C)$ = $\frac{1}{1+exp(-(X_i^TW+C))}$ ,则目标为估计最大化下列概率的参数：
Step1:
$\qquad$ $\prod_{i,y_i=1}$ $P(Y=1|X_i)$ $\prod_{i,y_i=-1}$ $P(Y=-1|X_i)$
$\qquad$ = $\prod_{i,y_i=1}$ $P (Y = 1 ∣ X = i)$ $\prod_{i,y_i=-1}$ $(1 - P (Y = 1 ∣ X = i))$
$\qquad$ = $\prod_{i,y_i=1}$ $h(X_i^TW+C)$ $\prod_{i,y_i=-1}$ $h(-(X_i^TW+C))$
$\qquad$ = $\prod_{i,y_i}$ $h(y_i(X_i^TW+C))$
$\qquad$ 对数化之后不影响求参过程，则目标变为求使得 $\Sigma_{i,y_i}$ $log(h(y_i(X_i^TW+C)))$ 最大化的参数。为将其转化为损失函数，目标转为最小化- $\Sigma_{i,y_i}$ $log(h(y_i(X_i^TW+C)))$ 的参数，则：
$\qquad$ - $\Sigma_{i,y_i}$ $log(h(y_i(X_i^TW+C)))$
$\qquad$ =- $\Sigma_{i,y_i}$ $log(\frac{1}{1+exp(-y_i(X_i^TW+C))})$
$\qquad$ = $\Sigma_{i,y_i}$ $log(1+exp(-y_i(X_i^TW+C)))$