《统计学习方法》(第六章)—— 逻辑斯谛回归与最大熵模型

逻辑斯谛回归与最大熵模型 1 逻辑斯谛回归模型 逻辑斯谛回归模型是由以下条件概率分布表示的分类模型。 P(Y=k∣x)=exp⁡(wk⋅x)1+∑k=1K−1exp⁡(wk⋅x),k=1,2,...,K−1P(Y=k|x)=\frac{\exp(w_k\cdot x)}{1+\sum_{k=1}^{K-1}\exp(w_k\cdot x)},k=1,2,...,K-1P(Y=k∣x)=1+∑k=1K−1​exp(wk​... 阅读详情

逻辑斯谛回归模型

逻辑斯谛分布

  • 定义:设X是连续随机变量,XXX服从罗辑斯谛分布是指XXX具有下列分布函数和密度函数:
          F(x)=P(X≤x)=11+e−−(x−μ)γF(x)=P(X\le x)=\frac{1}{1+e^{-\frac{-(x-\mu)}{\gamma}}}F(x)=P(X≤x)=1+e−γ−(x−μ)​1​
          f(x)=F′(x)=P(X≤x)=e−(x−μ)γγ(1+e−−(x−μ)γ)2f(x)=F^\prime(x)=P(X\le x)=\frac{e^{\frac{-(x-\mu)}{\gamma}}}{\gamma(1+e^{-\frac{-(x-\mu)}{\gamma}})^2}f(x)=F′(x)=P(X≤x)=γ(1+e−γ−(x−μ)​)2eγ−(x−μ)​​式中μ\muμ为位置参数,γ>0\gamma>0γ>0为形状参数,其以(μ,12)(\mu,\frac{1}{2})(μ,21​)为中心对称点,即满足F(−x+μ)−12=−F(x+μ)+12F(-x+\mu)-\frac{1}{2}=-F(x+\mu)+\frac{1}{2}F(−x+μ)−21​=−F(x+μ)+21​在中心增长速度快,两端速度慢,γ\gammaγ越小在中心增长越快

二项式逻辑斯谛回归模型

  • 定义:二项式逻辑斯谛回归模型是如下条件概率分布:
          P(y=1∣x)=exp⁡(w⋅x+b)1+exp⁡(w⋅x+b)P(y=1|x)=\frac{\exp(w\cdot x+b)}{1+\exp(w\cdot x+b)}P(y=1∣x)=1+exp(w⋅x+b)exp(w⋅x+b)​

          P(y=0∣x)=11+exp⁡(w⋅x+b)P(y=0|x)=\frac{1}{1+\exp(w\cdot x+b)}P(y=0∣x)=1+exp(w⋅x+b)1​
    这里,x∈Rnx \in R^nx∈Rn是输入,y∈{0,1}是输出,y \in \{0,1\}是输出,y∈{0,1}是输出, w∈Rnw \in R^nw∈Rn 和 b∈Rb \in Rb∈R是参数,www称为权值向量,bbb为偏值,w⋅xw \cdot xw⋅x为www和xxx的内积,扩充w=(w1,w2,...wn,b)T,x=(x1,x2,...,xm,1)Tw=(w^1,w^2,...w^n,b)^T,x=(x^1,x^2,...,x^m,1)^Tw=(w1,w2,...wn,b)T,x=(x1,x2,...,xm,1)T,则$w $
  • 几率定义:发生概率与不发生概率的比值,p1−p\frac{p}{1-p}1−pp​对数几率,logit(p)=log⁡p1−plogit(p)=\log\frac{p}{1-p}logit(p)=log1−pp​
      对于逻辑斯谛回归模型,log⁡P(y=1∣x)1−P(y=1∣x)=w⋅x\log \frac{P(y=1|x)}{1-P(y=1|x)}=w \cdot xlog1−P(y=1∣x)P(y=1∣x)​=w⋅x

模型参数估计

设:
      P(y=1∣x)=π(x),P(y=0∣x)=1−π(x)P(y=1|x)=\pi(x),P(y=0|x)=1-\pi(x)P(y=1∣x)=π(x),P(y=0∣x)=1−π(x)
似然函数为
      ∏i=1N[π(xi)]yi[1−π(xi)]1−yi\prod\limits_{i=1}^N[\pi(x_i)]^{y_i}[1-\pi(x_i)]^{1-y_i}i=1∏N​[π(xi​)]yi​[1−π(xi​)]1−yi​
对数似然函数为L(w)=∑i=1N[yilog⁡ π(xi)+(1−yi)log⁡ (1−π(xi))]L(w)=\sum\limits_{i=1}^N[y_i\log\ \pi(x_i)+(1-y_i)\log\ (1-\pi(x_i))]L(w)=i=1∑N​[yi​log π(xi​)+(1−yi​)log (1−π(xi​))]
=∑i=1N[yilog⁡ π(xi)1−π(xi)+log⁡ (1−π(xi))]=\sum\limits_{i=1}^N[y_i\log\ \frac{\pi (x_i)}{1-\pi(x_i)}+\log\ (1-\pi(x_i))]=i=1∑N​[yi​log 1−π(xi​)π(xi​)​+log (1−π(xi​))]
=∑i=1N[yi(w⋅xi)−log⁡ (1+exp⁡(w⋅xi)]=\sum\limits_{i=1}^N[y_i(w \cdot x_i)-\log\ (1+\exp(w \cdot x_i)]=i=1∑N​[yi​(w⋅xi​)−log (1+exp(w⋅xi​)]
对L(w)L(w)L(w)求极大值,得到www的估计

多项式逻辑斯谛回归

      P(y=k∣x)=exp⁡(wk⋅x)1+∑k=1K−1exp⁡(wk⋅x)P(y=k|x)=\frac{\exp(w_k \cdot x)}{1+\sum\limits_{k=1}^{K-1}\exp(w_k \cdot x)}P(y=k∣x)=1+k=1∑K−1​exp(wk​⋅x)exp(wk​⋅x)​其中k=1,2,...,K−1k=1,2,...,K-1k=1,2,...,K−1

      P(y=K∣x)=11+∑k=1K−1exp⁡(wk⋅x)P(y=K|x)=\frac{1}{1+\sum\limits_{k=1}^{K-1}\exp(w_k \cdot x)}P(y=K∣x)=1+k=1∑K−1​exp(wk​⋅x)1​

最大熵模型

最大熵模型是由最大熵原理推导实现。

最大熵原理

最大熵原理认为学习概率模型时,在所有可能的概率模型里,熵最大的模型是最好的模型。
H(P)=−∑xP(x)log⁡ P(x)H(P)=-\sum\limits_xP(x)\log \ P(x)H(P)=−x∑​P(x)log P(x),满足0≤H(P)≤log⁡ ∣X∣0 \le H(P)\le \log\ |X|0≤H(P)≤log ∣X∣,其中∣X∣|X|∣X∣是X的取值个数.在约束条件下,那些不确定的事件是等可能的是最好的.

最大熵模型的定义

假设分类模型是一个条件概率分布P(Y∣X)P(Y|X)P(Y∣X),给定一个训练数据集
T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{ (x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},学习目标是利用最大熵选择最好的模型
首先确定P(X,Y)P(X,Y)P(X,Y)和P(X)P(X)P(X)的经验分布
      P^(X=x,Y=y)=v(X=x,Y=y)N\hat{P}(X=x,Y=y)=\frac{v(X=x,Y=y)}{N}P^(X=x,Y=y)=Nv(X=x,Y=y)​
      P^(X=x)=v(X=x)N\hat{P}(X=x)=\frac{v(X=x)}{N}P^(X=x)=Nv(X=x)​
其中v(X=x)v(X=x)v(X=x)为样本中X=xX=xX=x的个数,v(X=x,Y=y)v(X=x,Y=y)v(X=x,Y=y)同理.
用特征函数f(x,y)f(x,y)f(x,y)描述输入xxx和输出yyy之间某一事实
f(x,y)={1x,y满足某一事实0其他f(x,y)=\begin{cases} 1 & x,y满足某一事实\\ 0 & 其他\\ \end{cases}f(x,y)={10​x,y满足某一事实其他​
则特征函数关于经验分布P^(X,Y)\hat{P}(X,Y)P^(X,Y)的期望值,用EP^(f)E_{\hat{P}}(f)EP^​(f)表示
      EP^(f)=∑x,yP^(x,y)f(x,y)E_{\hat{P}}(f)=\sum\limits_{x,y}\hat{P}(x,y)f(x,y)EP^​(f)=x,y∑​P^(x,y)f(x,y)
特征函数关于模型P(Y∣X)P(Y|X)P(Y∣X)与经验分布P^\hat{P}P^的期望值,用EP(f)E_{P}(f)EP​(f)表示
      EP(f)=∑x,yP^(x)P(y∣x)f(x,y)E_{P}(f)=\sum\limits_{x,y}\hat{P}(x)P(y|x)f(x,y)EP​(f)=x,y∑​P^(x)P(y∣x)f(x,y)
如果模型能够获取训练数据的信息,则
      EP^(f)=EP(f)E_{\hat{P}}(f)=E_{P}(f)EP^​(f)=EP​(f)

  • 定义
    假设满足所有约束条件的模型集合为
    C={P∈ρ∣EP^(fi)=EP(fi),i=1,2,...,n}C=\{P \in \rho |E_{\hat{P}}(f_i)=E_{P}(f_i),i=1,2,...,n\}C={P∈ρ∣EP^​(fi​)=EP​(fi​),i=1,2,...,n}
    定义在条件概率分布P(Y∣X)P(Y|X)P(Y∣X)上的条件熵为
    H(P)=−∑x,yP^(x)P(y∣x)log⁡ P(y∣x)H(P)=-\sum\limits_{x,y}\hat{P}(x)P(y|x)\log\ P(y|x)H(P)=−x,y∑​P^(x)P(y∣x)log P(y∣x)
    则模型集合CCC中条件熵最大的模型称为最大熵模型

最大熵模型的学习

min⁡P∈C          −H(P)=∑x,yP^(x)P(y∣x)log⁡ P(y∣x)\min\limits_{P \in C}\ \ \ \ \ \ \ \ \ \ -H(P)=\sum\limits_{x,y}\hat{P}(x)P(y|x)\log\ P(y|x)P∈Cmin​          −H(P)=x,y∑​P^(x)P(y∣x)log P(y∣x)
s.t.s.t.s.t.
      EP^(fi)=EP(fi)E_{\hat{P}}(f_i)=E_{P}(f_i)EP^​(fi​)=EP​(fi​)
      ∑yP(y∣x)=1\sum\limits_yP(y|x)=1y∑​P(y∣x)=1
引入拉格朗日乘子w0,w1,...,wnw_0,w_1,...,w_nw0​,w1​,...,wn​定义拉格朗日函数L(P,w)L(P,w)L(P,w)
L(P,w)=−H(P)+w0(1−∑yP(y∣x))+∑i=1nwi(EP^(fi)−EP(fi))L(P,w)=-H(P)+w_0(1-\sum\limits_yP(y|x))+\sum\limits_{i=1}^nw_i(E_{\hat{P}}(f_i)-E_{P}(f_i))L(P,w)=−H(P)+w0​(1−y∑​P(y∣x))+i=1∑n​wi​(EP^​(fi​)−EP​(fi​))
=∑x,yP^(x)P(y∣xlog⁡ P(y∣x)+w0(1−∑yP(y∣x))+=\sum\limits_{x,y}\hat{P}(x)P(y|x\log \ P(y|x)+w_0(1-\sum\limits_yP(y|x))+=x,y∑​P^(x)P(y∣xlog P(y∣x)+w0​(1−y∑​P(y∣x))+
∑i=1nwi(∑x,yP^(x,y)f(x,y)−∑x,yP^(x)P(y∣x)f(x,y))\sum\limits_{i=1}^nw_i(\sum\limits_{x,y}\hat{P}(x,y)f(x,y)-\sum\limits_{x,y}\hat{P}(x)P(y|x)f(x,y))i=1∑n​wi​(x,y∑​P^(x,y)f(x,y)−x,y∑​P^(x)P(y∣x)f(x,y))
最优的原始问题是min⁡P∈C max⁡w L(P,w)\min\limits_{P \in C} \ \max\limits_w \ L(P,w)P∈Cmin​ wmax​ L(P,w)
则对偶问题为max⁡w min⁡P∈C L(P,w)\max\limits_{w} \ \min\limits_{P \in C} \ L(P,w)wmax​ P∈Cmin​ L(P,w)
∂L(P,w)∂P(y∣x)=∑x,yP^(x)(log⁡ P(y∣x)+1)−∑yw0−∑x,y(P^(x)∑i=1nwifi(x,y))\frac{\partial L(P,w)}{\partial P(y|x)}=\sum\limits_{x,y} \hat{P}(x)(\log \ P(y|x)+1)-\sum\limits_yw_0-\sum\limits_{x,y}(\hat{P}(x)\sum\limits_{i=1}^nw_if_i(x,y))∂P(y∣x)∂L(P,w)​=x,y∑​P^(x)(log P(y∣x)+1)−y∑​w0​−x,y∑​(P^(x)i=1∑n​wi​fi​(x,y))
=∑x,yP^(x)(log⁡ P(y∣x)+1−w0−∑i=1nwifi(x,y))=0=\sum\limits_{x,y}\hat{P}(x)(\log \ P(y|x)+1-w_0-\sum\limits_{i=1}^nw_if_i(x,y))=0=x,y∑​P^(x)(log P(y∣x)+1−w0​−i=1∑n​wi​fi​(x,y))=0
则
P(y∣x)=exp⁡(∑i=1nwifi(x,y)+w0−1)=exp⁡(∑i=1nwifi(x,y))exp⁡(1−w0)P(y|x)=\exp(\sum\limits_{i=1}^nw_if_i(x,y)+w_0-1)=\frac{\exp(\sum\limits_{i=1}^nw_if_i(x,y))}{\exp(1-w_0)}P(y∣x)=exp(i=1∑n​wi​fi​(x,y)+w0​−1)=exp(1−w0​)exp(i=1∑n​wi​fi​(x,y))​
又由
∑yP(y∣x)=1\sum\limits_yP(y|x)=1y∑​P(y∣x)=1

      Pw(y∣x)=1Zw(x)exp⁡(∑i=1nwifi(x,y))P_w(y|x)=\frac{1}{Z_w(x)}\exp(\sum\limits_{i=1}^nw_if_i(x,y))Pw​(y∣x)=Zw​(x)1​exp(i=1∑n​wi​fi​(x,y))
其中
Zw(x)=∑yexp⁡(∑i=1nwifi(x,y))Z_w(x)=\sum\limits_y\exp(\sum\limits_{i=1}^nw_if_i(x,y))Zw​(x)=y∑​exp(i=1∑n​wi​fi​(x,y))
把以上代入L(P,w)L(P,w)L(P,w)后,我们只需要最大化求解www即可

极大似然估计

设极大似然估计
LP^(Pw)=log⁡ ∏x,yP(y∣x)P^(x,y)=∑x,yP^(x,y)log⁡P(y∣x)L_{\hat{P}}(P_w)=\log \ \prod\limits_{x,y}P(y|x)^{\hat{P}(x,y)}=\sum\limits_{x,y}\hat{P}(x,y)\log P(y|x)LP^​(Pw​)=log x,y∏​P(y∣x)P^(x,y)=x,y∑​P^(x,y)logP(y∣x)
=∑x,yP^(x,y)∑i=1nwifi(x,y)−∑x,yP^(x,y)log⁡Zw(x)=\sum\limits_{x,y}\hat{P}(x,y)\sum\limits_{i=1}^nw_if_i(x,y)-\sum\limits_{x,y}\hat{P}(x,y)\log Z_w(x)=x,y∑​P^(x,y)i=1∑n​wi​fi​(x,y)−x,y∑​P^(x,y)logZw​(x)
=∑x,yP^(x,y)∑i=1nwifi(x,y)−∑xP^(x)log⁡Zw(x)=\sum\limits_{x,y}\hat{P}(x,y)\sum\limits_{i=1}^nw_if_i(x,y)-\sum\limits_{x}\hat{P}(x)\log Z_w(x)=x,y∑​P^(x,y)i=1∑n​wi​fi​(x,y)−x∑​P^(x)logZw​(x)
又对偶函数
ψ(w)=∑x,yP^(x)Pw(y∣x)log⁡Pw(y∣x)+\psi(w)=\sum\limits_{x,y}\hat{P}(x)P_w(y|x)\log P_w(y|x)+ψ(w)=x,y∑​P^(x)Pw​(y∣x)logPw​(y∣x)+
∑i=1nwi(∑x,yP^(x,y)fi(x,y)−∑x,yP^(x)Pw(y∣x)fi(x,y))\sum\limits_{i=1}^nw_i(\sum\limits_{x,y}\hat{P}(x,y)f_i(x,y)-\sum\limits_{x,y}\hat{P}(x)P_w(y|x)f_i(x,y))i=1∑n​wi​(x,y∑​P^(x,y)fi​(x,y)−x,y∑​P^(x)Pw​(y∣x)fi​(x,y))
=∑x,yP^(x,y)∑i=1nwifi(x,y)+∑x,yP^(x)Pw(y∣x)(log⁡Pw(y∣x)−∑i=1nwifi(x,y)=\sum\limits_{x,y}\hat{P}(x,y)\sum\limits_{i=1}^nw_if_i(x,y)+\sum\limits_{x,y}\hat{P}(x)P_w(y|x)(\log P_w(y|x)-\sum\limits_{i=1}^nw_if_i(x,y)=x,y∑​P^(x,y)i=1∑n​wi​fi​(x,y)+x,y∑​P^(x)Pw​(y∣x)(logPw​(y∣x)−i=1∑n​wi​fi​(x,y)
=∑x,yP^(x,y)∑i=1nwifi(x,y)−∑x,yP^(x)Pw(y∣x)log⁡Zw(x)=\sum\limits_{x,y}\hat{P}(x,y)\sum\limits_{i=1}^nw_if_i(x,y)-\sum\limits_{x,y}\hat{P}(x)P_w(y|x)\log Z_w(x)=x,y∑​P^(x,y)i=1∑n​wi​fi​(x,y)−x,y∑​P^(x)Pw​(y∣x)logZw​(x)
=∑x,yP^(x,y)∑i=1nwifi(x,y)−∑xP^(x)log⁡Zw(x)=\sum\limits_{x,y}\hat{P}(x,y)\sum\limits_{i=1}^nw_if_i(x,y)-\sum\limits_{x}\hat{P}(x)\log Z_w(x)=x,y∑​P^(x,y)i=1∑n​wi​fi​(x,y)−x∑​P^(x)logZw​(x)

在最大熵模型下对偶最大化等价于极大似然估计.

模型学习的最优化算法

  1. 改进迭代尺度法
  2. 梯度下降法
  3. 牛顿法
  4. 拟牛顿法

改进的迭代尺度法

希望求的ϱ=(ϱ1,ϱ2,...,ϱn)\varrho=(\varrho_1,\varrho_2,...,\varrho_n)ϱ=(ϱ1​,ϱ2​,...,ϱn​),使w+ϱw+\varrhow+ϱ优于www
L(w+ϱ)−L(w)=∑x,yP^(x,y)log⁡Pw+ϱ(y∣x)−∑x,yP^(x,y)log⁡Pw(y∣x)L(w+\varrho)-L(w)=\sum\limits_{x,y}\hat{P}(x,y)\log P_{w+\varrho}(y|x)-\sum\limits_{x,y}\hat{P}(x,y)\log P_w(y|x)L(w+ϱ)−L(w)=x,y∑​P^(x,y)logPw+ϱ​(y∣x)−x,y∑​P^(x,y)logPw​(y∣x)
=∑x,yP^(x,y)∑i=1nϱifi(x,y)−∑xP^(x)log⁡Zw+ϱ(x)Zw(x)=\sum\limits_{x,y}\hat{P}(x,y)\sum\limits_{i=1}^n\varrho_if_i(x,y)-\sum\limits_{x}\hat{P}(x)\log \frac{Z_{w+\varrho}(x)}{Z_w(x)}=x,y∑​P^(x,y)i=1∑n​ϱi​fi​(x,y)−x∑​P^(x)logZw​(x)Zw+ϱ​(x)​
又
−log⁡a≥1−a,a>0-\log a \ge 1-a,a>0−loga≥1−a,a>0
得
L(w+ϱ)−L(w)≥∑x,yP^(x,y)∑i=1nϱifi(x,y)+1−∑xP^(x)Zw+ϱ(x)Zw(x)L(w+\varrho)-L(w)\ge \sum\limits_{x,y}\hat{P}(x,y)\sum\limits_{i=1}^n\varrho_if_i(x,y)+1-\sum\limits_{x}\hat{P}(x)\frac{Z_{w+\varrho}(x)}{Z_w(x)}L(w+ϱ)−L(w)≥x,y∑​P^(x,y)i=1∑n​ϱi​fi​(x,y)+1−x∑​P^(x)Zw​(x)Zw+ϱ​(x)​
=∑x,yP^(x,y)∑i=1nϱifi(x,y)+1−∑xP^(x)∑yPw(y∣x)exp⁡∑i=1nϱifi(x,y)=\sum\limits_{x,y}\hat{P}(x,y)\sum\limits_{i=1}^n\varrho_if_i(x,y)+1-\sum\limits_{x}\hat{P}(x)\sum\limits_{y}P_w(y|x)\exp \sum\limits_{i=1}^n\varrho_if_i(x,y)=x,y∑​P^(x,y)i=1∑n​ϱi​fi​(x,y)+1−x∑​P^(x)y∑​Pw​(y∣x)expi=1∑n​ϱi​fi​(x,y)
记右端为
A(ϱ∣w)=∑x,yP^(x,y)∑i=1nϱifi(x,y)+1−∑xP^(x)∑yPw(y∣x)exp⁡∑i=1nϱifi(x,y)A(\varrho|w)=\sum\limits_{x,y}\hat{P}(x,y)\sum\limits_{i=1}^n\varrho_if_i(x,y)+1-\sum\limits_{x}\hat{P}(x)\sum\limits_{y}P_w(y|x)\exp \sum\limits_{i=1}^n\varrho_if_i(x,y)A(ϱ∣w)=x,y∑​P^(x,y)i=1∑n​ϱi​fi​(x,y)+1−x∑​P^(x)y∑​Pw​(y∣x)expi=1∑n​ϱi​fi​(x,y)
于是
L(w+ϱ)−L(w)≥A(ϱ∣w)L(w+\varrho)-L(w)\ge A(\varrho|w)L(w+ϱ)−L(w)≥A(ϱ∣w)
但ϱ\varrhoϱ为向量不易优化故继续化简
定义
f#(x,y)=∑ifi(x,y)f^\#(x,y)=\sum\limits_{i}f_i(x,y)f#(x,y)=i∑​fi​(x,y)
A(ϱ∣w)=∑x,yP^(x,y)∑i=1nϱifi(x,y)+1−∑xP^(x)∑yPw(y∣x)exp⁡(f#(x,y)∑i=1nϱifi(x,y)f#(x,y))A(\varrho|w)=\sum\limits_{x,y}\hat{P}(x,y)\sum\limits_{i=1}^n\varrho_if_i(x,y)+1-\sum\limits_x\hat{P}(x)\sum\limits_{y}P_w(y|x)\exp(f^\#(x,y)\sum\limits_{i=1}^n\frac{\varrho_if_i(x,y)}{f^\#(x,y)})A(ϱ∣w)=x,y∑​P^(x,y)i=1∑n​ϱi​fi​(x,y)+1−x∑​P^(x)y∑​Pw​(y∣x)exp(f#(x,y)i=1∑n​f#(x,y)ϱi​fi​(x,y)​)
又fi(x,y)f#(x,y)≥0\frac{f_i(x,y)}{f^\#(x,y)}\ge0f#(x,y)fi​(x,y)​≥0且∑i=1nfi(x,y)f#(x,y)=1\sum\limits_{i=1}^n\frac{f_i(x,y)}{f^\#(x,y)}=1i=1∑n​f#(x,y)fi​(x,y)​=1
根据Jensen不等式
exp⁡(∑i=1nfi(x,y)f#(x,y)ϱif#(x,y))≤∑i=1nfi(x,y)f#(x,y)exp⁡(ϱif#(x,y))\exp(\sum\limits_{i=1}^n\frac{f_i(x,y)}{f^\#(x,y)}\varrho_if^\#(x,y))\le\sum\limits_{i=1}^n\frac{f_i(x,y)}{f^\#(x,y)}\exp(\varrho_if^\#(x,y))exp(i=1∑n​f#(x,y)fi​(x,y)​ϱi​f#(x,y))≤i=1∑n​f#(x,y)fi​(x,y)​exp(ϱi​f#(x,y))
于是A(ϱ∣w)≥B(ϱ∣w)=∑x,yP^(x,y)∑i=1nϱifi(x,y)+1−∑xP^(x)∑yPw(y∣x)∑i=1n(fi(x,y)f#(x,y))exp⁡(ϱif#(x,y))A(\varrho|w)\ge B(\varrho|w)=\sum\limits_{x,y}\hat{P}(x,y)\sum\limits_{i=1}^n\varrho_if_i(x,y)+1-\sum\limits_x\hat{P}(x)\sum\limits_{y}P_w(y|x)\sum\limits_{i=1}^n(\frac{f_i(x,y)}{f^\#(x,y)})\exp(\varrho_if^\#(x,y))A(ϱ∣w)≥B(ϱ∣w)=x,y∑​P^(x,y)i=1∑n​ϱi​fi​(x,y)+1−x∑​P^(x)y∑​Pw​(y∣x)i=1∑n​(f#(x,y)fi​(x,y)​)exp(ϱi​f#(x,y))
得到
L(w+ϱ)−L(w)≥B(ϱ∣w)L(w+\varrho)-L(w)\ge B(\varrho|w)L(w+ϱ)−L(w)≥B(ϱ∣w)

∂B(ϱ∣w)∂ϱ=∑x,yP^(x,y)fi(x,y)−∑xP^(x)∑yPw(y∣x)fi(x,y)exp⁡(ϱif#(x,y))=0\frac{\partial B(\varrho|w)}{\partial \varrho}=\sum\limits_{x,y}\hat{P}(x,y)f_i(x,y)-\sum\limits_x\hat{P}(x)\sum\limits_yP_w(y|x)f_i(x,y)\exp(\varrho_if^\#(x,y))=0∂ϱ∂B(ϱ∣w)​=x,y∑​P^(x,y)fi​(x,y)−x∑​P^(x)y∑​Pw​(y∣x)fi​(x,y)exp(ϱi​f#(x,y))=0
得
∑xP^(x)∑yPw(y∣x)fi(x,y)exp⁡(ϱif#(x,y))=EP^(fi)\sum\limits_x\hat{P}(x)\sum\limits_yP_w(y|x)f_i(x,y)\exp(\varrho_if^\#(x,y))=E_{\hat{P}}(f_i)x∑​P^(x)y∑​Pw​(y∣x)fi​(x,y)exp(ϱi​f#(x,y))=EP^​(fi​)

  • 算法
    输入:特征函数f1,f2,...,fnf_1,f_2,...,f_nf1​,f2​,...,fn​,经验分布P^(X,Y)\hat{P}(X,Y)P^(X,Y),模型Pw(y∣x)P_w(y|x)Pw​(y∣x)
    输出:最优参数w∗w^*w∗
    (1)(1)(1) 对所有i∈{1,2,...,n}i \in \{1,2,...,n\}i∈{1,2,...,n},取wi=0w_i=0wi​=0
    (2)(2)(2)对每个iii求方程
    ∑xP^(x)∑yPw(y∣x)fi(x,y)exp⁡(ϱif#(x,y))=EP^(fi)\sum\limits_x\hat{P}(x)\sum\limits_yP_w(y|x)f_i(x,y)\exp(\varrho_if^\#(x,y))=E_{\hat{P}}(f_i)x∑​P^(x)y∑​Pw​(y∣x)fi​(x,y)exp(ϱi​f#(x,y))=EP^​(fi​)
    wi⟵wi+ϱiw_i \longleftarrow w_i+\varrho_iwi​⟵wi​+ϱi​
    (3)(3)(3)如果不是所有wiw_iwi​收敛则重复(2)

拟牛顿法

对于最大熵模型
目标函数:
min⁡w∈Rn          f(w)=∑xP^(x)log⁡exp⁡(∑i=1nwifi(x,y))−∑x,yP^(x,y)∑i=1nwifi(x,y)\min\limits_{w \in R^n}\ \ \ \ \ \ \ \ \ \ f(w)=\sum\limits_x\hat{P}(x)\log \exp(\sum\limits_{i=1}^nw_if_i(x,y))-\sum\limits_{x,y}\hat{P}(x,y)\sum\limits_{i=1}^nw_if_i(x,y)w∈Rnmin​          f(w)=x∑​P^(x)logexp(i=1∑n​wi​fi​(x,y))−x,y∑​P^(x,y)i=1∑n​wi​fi​(x,y)
则梯度为
                         g(w)=(∂f(w)∂w1,∂f(w)∂w2,...,∂f(w)∂wn)T\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ g(w)=(\frac{\partial f(w)}{\partial w_1},\frac{\partial f(w)}{\partial w_2},...,\frac{\partial f(w)}{\partial w_n})^T                         g(w)=(∂w1​∂f(w)​,∂w2​∂f(w)​,...,∂wn​∂f(w)​)T

                         ∂f(w)∂wi=∑x,yP^(x)Pw(y∣x)fi(x,y)−EP^(fi)\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \frac{\partial f(w)}{\partial w_i}=\sum\limits_{x,y}\hat{P}(x)P_w(y|x)f_i(x,y)-E_{\hat{P}}(f_i)                         ∂wi​∂f(w)​=x,y∑​P^(x)Pw​(y∣x)fi​(x,y)−EP^​(fi​)

  • 算法
    输入:特征函数f1,f2,...,fnf_1,f_2,...,f_nf1​,f2​,...,fn​,经验分布P^(x,y)\hat{P}(x,y)P^(x,y),目标函数f(w)f(w)f(w),梯度g(w)=▽f(w)g(w)=\bigtriangledown f(w)g(w)=▽f(w),精度要求  ε\ \ \varepsilon  ε
    输出:最优参数w∗w^*w∗
    (1)(1)(1)选定初始点w(0),w^{(0)},w(0),取B0B_0B0​为正定对称矩阵,k=0k=0k=0
    (2)(2)(2)计算gk=g(w(k))g_k=g(w^{(k)})gk​=g(w(k)),如果∣∣gk∣∣<ε||g_k||<\varepsilon∣∣gk​∣∣<ε,则停止计算,取w∗=w(k)w^*=w^{(k)}w∗=w(k),否则转(3)
    (3)(3)(3)由Bkpk=−gkB_kp_k=-g_kBk​pk​=−gk​求出pkp_kpk​
    (4)(4)(4)一维搜索求λk\lambda_kλk​
    f(w(k)+λkpk)=min⁡λ≥0f(w(k)+λpk)f(w^{(k)}+\lambda_kp_k)=\min\limits_{\lambda\ge0}f(w^{(k)}+\lambda p_k)f(w(k)+λk​pk​)=λ≥0min​f(w(k)+λpk​)
    (5)(5)(5)w(k+1)=w(k)+λkpkw^{(k+1)}=w^{(k)}+\lambda_kp_kw(k+1)=w(k)+λk​pk​
    (6)(6)(6)计算gk+1=g(w(k+1))g_{k+1}=g(w^{(k+1)})gk+1​=g(w(k+1))如果∣∣gk+1∣∣<ε||g_{k+1}||<\varepsilon∣∣gk+1​∣∣<ε则停止,得到w=w(k+1)w=w^{(k+1)}w=w(k+1)否则计算Bk+1B_{k+1}Bk+1​
    Bk+1=Bk+ykykTykTϱk−BkϱkϱkTBkϱkTBkϱkB_{k+1}=B_k+\frac{y_ky_k^T}{y_k^T\varrho_k}-\frac{B_k\varrho_k\varrho_k^TB_k}{\varrho_k^TB_k\varrho_k}Bk+1​=Bk​+ykT​ϱk​yk​ykT​​−ϱkT​Bk​ϱk​Bk​ϱk​ϱkT​Bk​​其中yk=gk+1−gk,ϱk=w(k+1)−w(k)y_k=g_{k+1}-g_k,\varrho_k=w^{(k+1)}-w{(k)}yk​=gk+1​−gk​,ϱk​=w(k+1)−w(k)
    (7)(7)(7)k=k+1k=k+1k=k+1,转(3)(3)(3)
李航《统计学习方法》第六章——用Python实现逻辑斯谛回归(MNIST数据集) 相关文章: - 李航《统计学习方法》第二章——用Python实现感知器模型(MNIST数据集) - 李航《统计学习方法》第三章——用Python实现KNN算法(MNIST数据集) - 李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器(MNIST数据集) - 李航《统计学习方法》第五章——用Python实现决策树(MNIST数据集) 第六章有两个算法,分 阅读详情

相关推荐

银河麒麟V10 SP3下NFS客户端挂载失败?5个常见问题排查与修复

本文针对银河麒麟V10 SP3系统中NFS客户端挂载失败的常见问题,提供了5个实战排查方案。从基础服务状态检查到防火墙配置、版本兼容性、/etc/fstab设置及权限映射,详细解析了问题根源与解决方案,帮助用户快速恢复NFS文件共享功能。

weixin_42525005的博客 364

逻辑斯谛回归与最大熵模型logistic regression/maximum entropy model

本文是《统计学习方法》李航著学习笔记。 为了叙述方便,将logistic regression mode简称LR,maximum entropy mode简称ME。LR和ME都是判别模型,即将预测实例点分配到“条件概率分布”最大的类中。下述讨论会着重于LR模型和ME模型的学习过程。 逻辑斯谛函数: l(x)=11+e−(x−μ)/γ,μ为位置参数,γ&gt;0为形状参数l(x)=\frac{1}{1

公众号:瑞行AI 2049

ADS谐波平衡仿真自动优化报错?三步搞定HB控件设置(附常见错误排查)

本文针对ADS谐波平衡仿真在自动优化中常见的报错问题,提供了三步核心排查法。首先检查并禁用HB控件中可能导致冲突的小信号仿真模式,其次合理化仿真频率与扫描参数设置,最后审视优化变量与目标的定义。通过精准配置HB控件以适配自动优化流程,能有效解决大多数仿真失败问题,确保非线性电路设计顺利进行。

c2d3e4f的博客 792

个人学习笔记(六)逻辑斯谛回归与最大熵模型

       逻辑斯谛回归(logistic regression)与最大熵模型(maximum entropy model)都属于对数线性模型。 1、逻辑斯谛回归模型        首先介绍逻辑斯谛分布(logistic distribution),设XXX是连续随机变量,XXX服从逻辑斯谛分布是指XXX具有下列分布...

万carp的博客 502

HIL(硬件在环)技术汇总梳理

HIL(Hardware-in-the-Loop)测试领域的知名公司有dSPACE、NI、Vector和speedgoat等,本文是针对这几家HIL技术的对比分析。

Mr.Cssust的博客 3692

Windows 2000系统下载与全套镜像安装:从镜像校验到驱动兼容性实战指南

操作系统镜像文件是安装系统的核心载体,其完整性直接影响部署成败。哈希校验作为验证文件一致性的基础手段,能有效避免因镜像损坏导致的安装中断。对于已停止支持的操作系统,如Windows 2000,其镜像获取与安装更具挑战性,但它在工业控制、专用终端及怀旧技术研究中仍有不可替代的价值。通过理解镜像命名规则、服务包等级(如SP4)及引导方式,结合虚拟机或老硬件平台,可以顺利完成部署。同时,驱动兼容性是老系统运行的关键瓶颈,需针对性解决网卡、显卡等外设驱动问题。本文从镜像下载、校验到安装配置,系统梳理了Windows

weixin_32050773的博客 350

统计学习笔记6—逻辑斯谛回归与最大熵模型

第六章 逻辑斯谛回归与最大熵模型 6.1 逻辑斯谛回归模型 6.1.1 逻辑斯谛分布 6.1.2 二项逻辑斯谛回归模型 模型定义: 将b加入到内积中: 几率定义:该事件发生的概率与不发生的概率的比值。 则逻辑斯谛回归的几率为: 6.1.3 模型参数估计 模型参数w估计:极大似然估计 求解过程: 6.1.4 多项逻辑斯谛回归 6.2 最大熵模型 6.2.1最大熵原理 鸡蛋篮子原理:在信...

DMU_lzq1996的博客 579

YOLOv11在STM32H7上的MCU部署实战:基于CMSIS-NN的高效推理实现

嵌入式AI与MCU部署技术解析 本文系统介绍了基于STM32H7微控制器的YOLOv11模型部署方案。主要内容包括: 边缘计算背景下MCU的AI部署优势与挑战,重点分析了STM32H7平台特性 YOLOv11模型的结构优化,包括E-ELAN骨干网络和Meta-ACON激活函数等改进 CMSIS-NN加速库的架构原理,在STM32H743上可实现5.4倍卷积加速 完整的开发环境搭建流程,涵盖硬件选型、工具链配置和模型转换 模型优化关键技术,包括int8量化、剪枝和内存占用优化等 实验表明,该方案在保持模型精度

本博客聚焦 YOLOv11 全流程落地,涵盖架构优化、数据集处理、训练技巧与多场景部署,兼及国产数据库、Java 开发与 AI 模型应用,内容兼顾理论与工程实践,为开发者提供系统干货,助力高效提升技术能力。 856

《统计学习方法》——第六章 逻辑斯谛回归与最大熵模型

本文只要记录一些书中的一些小知识点,挑一些本人认为重要的地方进行总结。各位道友!道长(zhǎng) 道长(chǎng)假设满足所有约束条件的模型集合为CP∈P1∣EPfiEPfiCP∈P1∣EP​fi​EP​fi​)}定义在条件概率分布PY∣XP(Y|X)PY∣X上的条件熵为(如无说明,一般log都是ln)HP−∑xyPxPy∣xlog⁡Py∣xHP−xy∑​PxPy。

weixin_46034279的博客 2369

ROS2入门到精通—— 2-9 ROS2实战:Nav2常见的工程问题(参考3D视觉工坊)

本文介绍了Nav2常见的工程问题,还有调试DWB的一些经验,以及DWB的一些缺点

BigDavid123的博客 1074

PGM-Explainer实验总结

PGM-Explainer建立了一个概率图模型,为GNN提供实例级解释。 论文标题:PGM-Explainer: Probabilistic Graphical Model Explanations for Graph Neural Networks 论文地址:2010.05788.pdf (arxiv.org) PGM-Explainer实验 实验目的 研究PGM-Explainer的有效性 实验方案 合成数据集的节点分类 与其他解释器做对比实验 使用六个合成数据集。 每个输入图都是一个

笔记|思路|总结 1万+

《统计学习方法》第六章 逻辑斯谛回归与最大熵模型

1.1 逻辑斯谛回归模型

qq_26496077的博客 400

【DevOps】rancher集成ldap,实现统一账号登录

登录到rancher控制台,选择【安全】-【认证】 选择【OpenLDAP】 其中【搜索起点】需要去ldap界面查配置完成

CN_Eden 1096

统计学习方法第六章:逻辑斯谛回归与最大熵模型

最大熵原理是统计学习的一般原理,将它应用到分类 得到最大熵模型我们将和作为模型学习的约束条件。

qq_58567287的博客 487

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

李航 统计学习方法 第六章 逻辑斯谛回归与最大熵模型

李航 统计学习方法 第六章 逻辑斯谛回归与最大熵模型 逻辑斯谛回归模型 设XXX是连续随机变量, XXX服从逻辑斯谛分布是指XXX具有下列分布函数和密度函数: F(x)=P(X≤x)=11+e−(x−μ)/γF(x)=P(X\leq x)=\frac{1}{1+e^{-(x-\mu)/\gamma}}F(x)=P(X≤x)=1+e−(x−μ)/γ1​ f(x)=F′(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2f(x)=F^{\prime}(x)=\frac{e^{-(x-\mu)/\gamma}

manong_dashen的博客 267

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

统计学习方法读书笔记第六章:逻辑斯谛回归与最大熵模型

统计学习方法第六章:逻辑斯谛回归与最大熵模型统计学习方法读书笔记第六章:逻辑斯谛回归与最大熵模型逻辑斯谛回归模型最大熵模型 统计学习方法读书笔记第六章:逻辑斯谛回归与最大熵模型 逻辑斯谛回归是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则,将其推广到分类问题得到最大熵模型。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。 逻辑斯谛回归模型 逻辑斯谛分布 设XXX是连续随机变量,XXX服...

weixin_40692963的博客 609

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

机器学习理论《统计学习方法》学习笔记:第六章 逻辑斯谛回归与最大熵模型

机器学习理论《统计学习方法》学习笔记:第六章 逻辑斯谛回归与最大熵模型6 逻辑斯谛回归与最大熵模型6.1 逻辑斯谛分布 6 逻辑斯谛回归与最大熵模型 逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则,将其推广到分类问题得到最大熵模型(maximum entropy model)。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。 6.1 逻辑斯谛分布 逻辑斯谛分布:设XXX是连续随机变量,XXX服从逻辑斯谛分布是指XXX具有下列分布函数和密度

紫芝的博客 554

《统计学习方法》 第六章 逻辑斯谛回归和最大熵模型(原理+代码)

最大熵原理认为在所有可能的概率模型(分布)的集合中,熵最大的模型是最好的模型。逻辑斯谛回归模型及最大熵模型学习一般采用极大似然估计,或正则化的极大似然估计。逻辑斯谛回归模型及最大熵模型学习可以形式化为无约束最优化问题。逻辑斯谛回归模型是由输入的线性函数表示的输出的对数几率模型。最大熵原理应用到分类模型的学习中,有以下约束最优化问题。逻辑斯谛回归模型是由以下条件概率分布表示的分类模型。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。逻辑斯谛回归模型源自逻辑斯谛分布,其分布函数。

小鹏AI 476

统计学习方法 第六章 逻辑斯谛回归与最大熵模型读书笔记

逻辑斯谛回归

m0_50650660的博客 306

统计学习方法第六章逻辑斯谛回归与最大熵模型

# -*- coding: utf-8 -*- # @FileName: 统计学习方法第六章逻辑斯谛回归与最大熵模型 # @Software: PyCharm # @Author : li Xu # @Time :2021//03//07 import time import numpy as np def loadData(fileName): ''' 加载数据集 :param fileName:数据集所在的文件路径 :return: 数据集及数据集所对应的

qq_42964830的博客 160

《统计学习方法》读书笔记——第六章 逻辑斯谛回归与最大熵模型

写在前面 本系列博客是自己对于《统计学习方法》这本书的读书笔记,在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。 目录 写在前面 本章框架 逻辑斯谛回归模型 最大熵模型 模型学习的最优化方法 补充知识点 本章框架 逻辑斯谛回归模型 名称 公式 描述 逻辑斯谛回分布 逻辑斯谛回归模型 ...

s000da的博客 320

【统计学习方法-李航-笔记总结】六、逻辑斯谛回归和最大熵模型

本文是李航老师《统计学习方法》第六章的笔记,欢迎大佬巨佬们交流。 主要参考博客: http://www.cnblogs.com/YongSun/p/4767100.html https://blog.youkuaiyun.com/tina_ttl/article/details/53519391 https://blog.youkuaiyun.com/tina_ttl/article/details/535420...

zl3090的博客 695

统计学习方法——第6章 逻辑斯谛回归与最大熵模型(个人笔记)

统计学习方法——第6章 逻辑斯谛回归与最大熵模型(个人笔记) 参考《统计学习方法》(第二版)李航 逻辑斯谛回归模型与最大熵模型都属于对数线性模型。 6.1 逻辑斯谛回归模型 6.1.1 逻辑斯谛分布 定义6.1 (逻辑斯谛分布) 设X是连续随机变量,X服从逻辑斯谛分布是指X具有下列分布函数和密度函数: 其中,为位置参数,为形状参数。 6.1.2 二项逻辑斯谛回归模型 定义6.2 (逻辑斯谛回归模型) 二项逻辑斯谛回归模型条件概率分布如下: 其中,Y是输出,w为权重.

pk296256948的博客 470

李航《统计学习方法》——第六章逻辑回归和最大熵模型笔记及理解+习题

习题 6.1确认逻辑斯蒂分布属于指数族分布 指数族分布,满足一下形式P(y;η)=b(y)exp(ηTT(y)−a(η))P(y;\eta) = b(y)exp(\eta^TT(y)-a(\eta))P(y;η)=b(y)exp(ηTT(y)−a(η))η被称为分布的自然参数(也称为规范参数) T(y)是充分统计量(通常情况下有T(y)=y) a(η)被称为对数划分函数。这一项本质上是起到了正则化...

李滚滚的博客 5027
上一篇: 《统计学习方法》(第五章)—— 决策树
下一篇: 洛谷-1865 A % B Problem
mkopvec
博客等级 码龄8年 22粉丝 331原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值