1. 模型形式
采用Sigmoid函数将线性组合映射到(0,1)概率空间，公式为：
p
(
y
=
1
∣
x
)
=
1
1
+
e
−
(
w
T
x
+
b
)
p(y=1|x) = \frac{1}{1+e^{-(w^Tx + b)}}
p(y=1∣x)=1+e−(wTx+b)1
对应的对数几率函数为
ln
p
1
−
p
=
w
T
x
+
b
\ln\frac{p}{1-p}=w^Tx+b
ln1−pp=wTx+b[1]。
2. 参数估计
采用极大似然法推导，通过式(3.27)得到负对数似然损失函数：
ℓ
(
w
,
b
)
=
∑
i
=
1
m
ln
(
1
+
e
−
y
i
(
w
T
x
i
+
b
)
)
\ell(w,b) = \sum_{i=1}^m \ln(1 + e^{-y_i(w^Tx_i + b)})
ℓ(w,b)=i=1∑mln(1+e−yi(wTxi+b))
该函数将不同类别标签统一到指数形式表达[1]。
3. 核方法扩展
通过核函数
κ
(
x
,
x
i
)
\kappa(x,x_i)
κ(x,xi) 可将线性模型扩展为非线性形式：
f
(
x
)
=
∑
i
=
1
m
α
i
κ
(
x
,
x
i
)
+
b
f(x) = \sum_{i=1}^m \alpha_i \kappa(x,x_i) + b
f(x)=i=1∑mαiκ(x,xi)+b
这种映射使模型在高维特征空间中保持线性计算复杂度。
4. 与支持向量机的对比
- 目标函数：两者目标函数都包含结构风险项和损失项
- 损失函数：支持向量机使用铰链损失，对数几率回归使用对数损失
- 解的特性：支持向量机解具有稀疏性而对数几率回归解稠密[1]
相关视频讲解可参考：逻辑回归详解 [[1]](https://alidocs.dingtalk.com/i/nodes/AR4GpnMqJzDjr0ovHNqej
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
