ML与DL中的一些基础知识---激活函数与损失函数等

1. 常用激活函数

1.1 sigmoid函数

• 公式：$f(x)=\frac{1}{1+e^{-x}}$
• 求导：$\frac{\partial f}{\partial x}=f(x)(1-f(x))=\frac{e^x}{(1+e^x{)}^2}$
• 函数曲线：

• 优点：(1) 可以引入非线性。(2) 容易求导。(3) 可以将实数压缩至 $(0,1)$。
• 缺点：梯度消失。

1.2 softmax函数

• 公式：$f(x)=\frac{e^{x_i}}{{\sum }_j{e}^{x_j}}$
• 应用：多分类问题。

1.3 tanh函数

• 公式：
  $$tanhx=\frac{sinhx}{coshx}=\frac{e^x-e^{-x}}{e^x+e^{-x}}=\frac{1-e^{-2x}}{1+e^{-2x}}$$
• 求导：$tan{h}^{{}^{\prime }}(x)=1-tan{h}^2(x)$
• 函数曲线：

• 缺点：梯度消失。
• 优点：比 sigmoid 收敛速度更快。

1.4 Relu函数

• 公式：
  $$f(x)=\{\begin{array}{ll}0,& \text{x≤0}\\ x,& \text{x>0}\end{array}$$
• 函数曲线：

• 优点：(1) 相比起Sigmoid，ReLU在SGD中能够快速收敛。
  (2) Sigmoid涉及了很多运算大的操作，比如指数，ReLU的实现更加简单。
  (3) 有效缓解了梯度消失的问题。

1.5 阶跃函数

• 公式：
  $$f(x)=\{\begin{array}{ll}0,& \text{x≤0}\\ 1,& \text{x>0}\end{array}$$
• 函数曲线：

2. 常用损失函数

2.1 平方差损失函数

• 公式：
  $$E=\frac{1}{2}\sum _k(y_k-t_k{)}^2$$
• 应用：回归问题。

2.2 交叉熵损失函数

• 公式：
  $$E=-\sum _k{t}_{k}log{y}_k$$
• 应用：分类问题。

3. 正则化

3.1 L1正则化

3.2 L2正则化

4. 损失函数的优化方法

4.1 梯度下降法

4.2 牛顿法

4.3 最小二乘法

5. DL中的tricks

5.1 Batch Normal

5.2 Layer Normalization

5.3 Dropout

5.4 Adam

6. 模型评价指标

6.1 accuracy, precision, recall, F1

7. ML与DL中常见问题及解决方案

7.1 梯度消失与梯度爆炸

参考：https://blog.youkuaiyun.com/dulingtingzi/article/details/80254038