逻辑回归
D a t a : { ( x i , y i ) } i = 1 N y i ∈ { 0 , 1 } 激 活 函 数 s i g m o d f u n c t i o n : σ ( z ) = 1 1 + e − z Data:\ \{(x_i,y_i) \}_{i=1}^N\\ y_i\in\{0,1\}\\ 激活函数sigmod\ function:\ \sigma(z)=\frac{1}{1+e^{-z}} Data: {(xi,yi)}i=1Nyi∈{0,1}激活函数sigmod function: σ(z)=1+e−z1
思 想 ： 将 一 个 线 性 回 归 转 化 为 一 个 [ 0 , 1 ] 或 者 一 个 概 率 ， 从 而 达 到 线 性 分 类 效 果 σ : R ↦ ( 0 , 1 ) w T x ↦ p 思想：将一个线性回归转化为一个[0,1]或者一个概率，从而达到线性分类效果\\ \sigma: R\mapsto(0,1)\\w^Tx\mapsto p 思想：将一个线性回归转化为一个[0,1]或者一个概率，从而达到线性分类效果σ:R↦(0,1)wTx↦p
ψ ( x i ; w ) = p 1 = P ( y = 1 ∣ x ) = σ ( w T x ) = 1 1 + e − w T x , y = 1 p 0 = P ( y = 0 ∣ x ) = 1 − P ( y = 1 ∣ x ) = e − w T x 1 + e − w T x , y = 0 ⇒ P ( y ∣ x ) = p 1 y p 0 1 − y \psi(x_i;w)=p_1=P(y=1|x)=\sigma(w^Tx)=\frac{1}{1+e^{-w^Tx}}, y=1\\ p_0=P(y=0|x)=1-P(y=1|x)=\frac{e^{-w^Tx}}{1+e^{-w^Tx}}, y=0\\ \Rightarrow P(y|x)=p_1^yp_0^{1-y} ψ(xi;w)=p1=P(y=1∣x)=σ(wTx)=1+e−wTx1,y=1p0=P(y=0∣x)=1−P(y=1∣x)=1+e−wTxe−wTx,y=0⇒P(y∣x)=p1yp01−y
M L E : w ^ = a r g m a x w l o g P ( Y ∣ X ) = a r g m a x w l o g ∏ i = 1 N P ( y i ∣ x i ) = a r g m a x w ∑ i = 1 N l o g P ( y i ∣ x i ) = a r g m a x w ∑ i = 1 N y i l o g p 1 + ( 1 − y i ) l o g p 0 = a r g m a x w ∑ i = 1 N y i l o g ψ ( x i ; w ) + ( 1 − y i ) l o g ( 1 − ψ ( x i ; w ) ) MLE:\hat{w}=argmax_wlogP(Y|X)\\ =argmax_wlog\prod_{i=1}^NP(y_i|x_i)\\ =argmax_w\sum_{i=1}^NlogP(y_i|x_i)\\ =argmax_w\sum_{i=1}^Ny_ilogp_1+(1-y_i)logp_0\\ =argmax_w\sum_{i=1}^Ny_ilog\psi(x_i;w)+(1-y_i)log(1-\psi(x_i;w)) MLE:w^=argmaxwlogP(Y∣X)=argmaxwlogi=1∏NP(yi∣xi)=argmaxwi=1∑NlogP(yi∣xi)=argmaxwi=1∑Nyilogp1+(1−yi)logp0=argmaxwi=1∑Nyilogψ(xi;w)+(1−yi)log(1−ψ(xi;w))
扫一扫
1173
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
