布拉拉巴卜拉的博客

深度学习（八）~神经网络正则化方法神经网络正则化方法1. L1和L2正则化2. 权重衰减(Weight Decay)3. Early Stopping4. Dropout5. 数据增强(Data Augmentation)6. 标签平滑(Label Smoothing)神经网络正则化方法在传统的机器学习中，提高泛化能力的方法主要是限制模型复杂度，比如采用L1和L2正则化等方式。而在训练深度神经网络时，特别是在过度参数化时，L1和L2的效果往往不如浅层机器学习模型中显著。因此训练深度学习模型时，往往还会使

深度学习（七）~神经网络常见优化方法神经网络常见优化方法1. 神经网络为什么要优化？2. 优化什么？3. 梯度下降的方法(1). 梯度下降(2). 随机梯度下降(也称增量梯度下降法)(3). 小批量梯度下降4. 批量大小的选择5. 自适应学习率调整(1). Adagrad算法(2). RMSprop算法(3). Adadelta算法6. 梯度估计修正(1). 动量法(2). Nesterov加速度(3). Adam算法(4). 梯度截断7. 常用优化算法小结神经网络常见优化方法1. 神经网络为什么要优化

深度学习（七）~注意力机制注意力机制1. 为什么要引入注意力机制？2. 注意力分类3. 注意力机制计算步骤4. Encoder-Decoder框架(1). RNN-Encoder阶段(2). RNN-Decoder阶段(3). Attention-Decoder阶段5. 注意力机制实现形式(1). 软性注意力(2). 硬性注意力(3). 键值对注意力6. Self-Attention7. Self-Attention如何应用注意力机制1. 为什么要引入注意力机制？①计算能力的限制要记住更多信息，

深度学习（六）~基于门控的循环神经网络基于门控的循环神经网络1. 长短期记忆神经网络(LSTM)1. RNN vs LSTM2. LSTM工作机制(1).【LSTM前向传播】(2).【LSTM反向传播】2. 门控循环单元网络(GRU)1. GRU工作机制基于门控的循环神经网络1. 长短期记忆神经网络(LSTM)1. RNN vs LSTM参数学习过程中连乘项可能发生极大或极小的情况，从而影响最终结果，也即梯度消失与梯度爆炸问题LSTM采用了累加形式解决这一问题，但它的实现较复杂.与传统的循环神经

深度学习（六）~循环神经网络循环神经网络1. RNN训练流程2. 参数学习(1)【RNN前向传播算法】(2)【随时间反向传播算法(BPTT)】(3) 随时间反向传播算法(BPTT) VS 实时循环学习算法(RTRL)3. RNN应用：(1). 序列到类别模式(2). 同步的序列到序列模式(3). 异步的序列到序列模式4. 长程依赖问题(1). 梯度消失(2). 梯度爆炸5. 改进方案-基于门控的循环神经网络(1) LSTM(2) GRU循环神经网络1. RNN训练流程【RNN训练过程】a. 前向计算

深度学习（五）~卷积神经网络卷积神经网络1. 卷积神经网络简介2. 卷积方式3. 卷积神经网络的层级结构4. 参数学习5. 几种典型的卷积神经网络：(1) LeNet-5①网络结构(2) AlexNet①网络结构②突破点(3) Inception网络：①突破点(4) 残差网络(ResNet)：卷积神经网络1. 卷积神经网络简介卷积神经网络是一种深层前馈神经网络，比全连接前馈网络参数更少特点：1.局部连接 2.权值共享 3.汇聚这些特点使得卷积神经网络具有一定程度上的平移、缩放和旋转不变性CNN

深度学习（二）~常用神经网络结构常用神经网络结构1. 前馈网络(1) 全连接神经网络(FNN)(2)卷积神经网络(CNN)2. 记忆网络(1) 循环神经网络(RNN)(2) LSTM(3) GRU3. 图网络常用神经网络结构1. 前馈网络特点： 每一层神经元接收前一层神经元的输出，相当于有向无环图实现方式：前馈网络包括全连接前馈网络和卷积神经网络(1) 全连接神经网络(FNN)**特点：**每一层是全连接层—即每一层的每个神经元与上一层所有神经元都有连接；作用：**a. ** 多个全连接层可

深度学习（一）~常见激活函数常见激活函数1. Sigmoid型函数1. Logistic函数2. Tanh函数3. Hard-Logistic函数和Hard-Tanh函数2. ReLU函数(1). Leaky ReLU(2). 带参数的ReLU(即PReLU)(3). ELU函数(4). Softplus函数3. Swish函数4. GELU函数5. Maxout单元常见激活函数为了增强网络的表示能力和学习能力，激活函数须具备以下性质：(1) 连续并可导(允许少数点不可导)的非线性函数。可导的激活函数