深度学习基础

深度学习基础

1. 逻辑回归(简单)：

$$z=dot(w,x)+b$$

2. sigmoid激活函数

$$\partial (z)=\frac{1}{1+e^{-z}}$$

sigmoid求导：$y=\frac{1}{1+e^{-x}}$

$y_x^{{}^{\prime }}=[(1+e^{-x}{)}^{-1}{]}^{{}^{\prime }}$

$=[-(1+e^{-x}{)}^{-2}{e}^{-x}(-1)]$

$=\frac{e^{-x}}{(1+e^{-x}{)}^2}$

$=\frac{e^{-x}}{1+e^{-x}}\frac{1}{1+e^{-x}}$

$=\frac{1+e^{-x}-1}{1+e^{-x}}\frac{1}{1+e^{-x}}$

$=(1-\frac{1}{1+e^{-x}})\frac{1}{1+e^{-x}}$

$因：y=\frac{1}{1+e^{-x}}$

$=(1-y)y$

3. 损失函数(常用)

$$L({\hat{y}}^{(i)},y^{(i)})=-[y^{(i)}ln({\hat{y}}^{(i)})+(1-y^{(i)})ln(1-{\hat{y}}^{(i)})]$$

成本函数：
$$J(w,b)=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}ln({\hat{y}}^{(i)})+(1-y^{(i)})ln(1-{\hat{y}}^{(i)})]$$

4. 梯度下降

$$w^{\prime }=w-rdw$$

5. 逻辑回归的偏导数

逻辑回归：

• $z=w_1{x}_1+w_2{x}_1+b$
• $\hat{y}=a=\partial (z)=\frac{1}{1+e^{-(w_{1}x+w_{2}x+b})}$
• $L({\hat{y}}^{(i)},y^{(i)})=-[y^{(i)}ln({\hat{y}}^{(i)})+(1-y^{(i)})ln(1-{\hat{y}}^{(i)})]$

求偏导

1. 求$d{w}_1$

$d{w}_1=\frac{dL}{da}\frac{da}{dz}\frac{dz}{d{w}_1}$

$=\frac{d(-[y^{(i)}ln({\hat{y}}^{(i)})+(1-y^{(i)})ln(1-{\hat{y}}^{(i)})])}{da}\frac{da}{dz}\frac{dz}{d{w}_1}$

$=-[\frac{y}{a}+\frac{1-y}{1-a}(-1)]\frac{da}{dz}\frac{dz}{d{w}_1}$

$=-[\frac{y}{a}+\frac{1-y}{1-a}(-1)][a(1-a)]\frac{dz}{d{w}_1}$

$=-[\frac{y}{a}+\frac{y-1}{1-a}][a(1-a)]\frac{dz}{d{w}_1}$

$=-[y(1-a)+a(y-1))]\frac{dz}{d{w}_1}$

$=(a-y)\frac{dz}{d{w}_1}$

$=dz\frac{dz}{d{w}_1}$

$=x_{1}dz$

$由上知：dz=a-y$

2. 求$d{w}_2$

$d{w}_2=x_{2}dz$

3. 求$db$

$db=\frac{dL}{da}\frac{da}{dz}=dz$