weixin_40934238的博客

卷积模型-CNN模型的参数量与计算量计算前言CNN中模型的参数量与FLOPs计算1 卷积层1.1 卷积层参数量计算1.2 卷积层FLOPs计算1.3 卷积层参数计算示例2 归一化层2.1 归一化层参数量计算2.2 归一化层FLOPs计算3 线性层3.1 线性层参数量计算3.2 线性层FLOPs计算4. 实例演示前言本深度学习系列是根据paddle飞浆所简单整理的，需要可自行跳转学习。本节是关于卷积模型-CNN模型的参数量与计算量计算的相关内容。这是只简单记录部分知识，目的是方便以后复习。CNN中

深度学习-损失函数目录前言一、交叉熵损失二、均方差损失（Mean Square Error，MSE）三、CTC损失四、Lb损失前言本深度学习系列是根据paddle飞浆所简单整理的，需要可自行跳转学习。本节是关于深度学习-损失函数的相关内容，包括交叉熵损失、MSE损失、CTC损失、Lb损失。这是只简单记录部分知识，目的是方便以后复习。一、交叉熵损失二、均方差损失（Mean Square Error，MSE）均方误差损失又称为二次损失、L2损失，常用于回归预测任务中。均方误差函数通过计算预测值和

深度学习-激活函数目录前言激活函数什么是激活函数激活函数的作用激活函数的种类identitystepsigmoidtanhReLULReLUPReLURReLUELUSELUsoftsignsoftplussoftmaxswishhswish激活函数的选择激活函数相关问题前言本深度学习系列是根据paddle飞浆所简单整理的，需要可自行跳转学习。本节是关于深度学习-激活函数的相关内容。这是只简单记录部分知识，目的是方便以后复习。激活函数什么是激活函数激活函数是人工神经网络的一个极其重要的特征

深度学习-归一化算法目录前言一、归一化1. 什么是归一化2. 为什么要归一化3. 为什么归一化能提高求解最优解的速度4. 归一化有哪些类型5. 不同归一化的使用条件6. 归一化和标准化的联系与区别References二、层归一化1. 层归一化详解2. 提出背景3. 概念及算法4. 算法作用5. 应用场景前言本深度学习系列是根据paddle飞浆所简单整理的，需要可自行跳转学习。本节是关于深度学习-归一化算法的相关内容，包括归一化和层归一化等。这是只简单记录部分知识，目的是方便以后复习。一、归一化

深度学习-模型调优目录前言一、学习率1.什么是学习率2.学习率对网络的影响3.学习率的设置二、注意力机制1. 注意力机制是什么2. 经典注意力机制3. 注意力机制的一些变体4. 自注意力机制三、正则化1. 正则化介绍2. 数据增强3. L1 L2正则化4. Dropout5. DropConnect6. 早停法四、batch size1. 什么是batch size2. batch size对网络的影响3. batch size的选择五、参数初始化1. 为什么不能全零初始化？2. 常见的初始化方法前言

深度学习-优化策略目录前言一、梯度下降算法背景二、Momentum三、NAG四、AdaGrad五、AdaDelta六、RMSProp七、AdamAdaMax八、Nadam九、AMSGrad十、AdaBound十一、AdamW十二、RAdam十三、Lookahead前言本深度学习系列是根据paddle飞浆所简单整理的，需要可自行跳转学习。本节是关于深度学习-优化策略的相关内容，包括梯度下降算法背景、Momentum、NAG、AdaGrad、AdaDelta、RMSProp、Adam、AdaMax、Na

深度学习-评估指标目录前言一、机器学习常用评估指标1.评价指标1.1 错误率与精度1.2 精确率1.3 召回率1.4 P-R曲线1.5 F1 、Fβ值1.6 TPR1.7 FPR1.8 ROC1.9 AUC1.10 敏感性1.11 特异性2.Precision、Recall、mAP2.1 准确率和召回率2.2 P-R曲线2.3 mAP3.GAN评估指标：GAN4.Perplexity(困惑度)：语言处理5.BLEU:机器翻译6.ROUGE：机器翻译前言本深度学习系列是根据paddle飞浆所简单整理的

深度学习-距离计算目录前言一、向量距离与相似度1.常见的距离计算方式1.1闵可夫斯基距离（Minkowski Distance）1.2 街市距离(曼哈顿距离)（Manhattan Distance）1.3 欧式距离/欧几里得距离（Euclidean distance）1.4 切比雪夫距离（Chebyshev Distance）1.5 海明距离（Hamming Distance）1.6 加权距离1.7 KL散度1.8 样本的规格化2.常见的相似度函数2.1 余弦相似度（Cosine Similarity）2.

深度学习-基础知识目录前言一、神经元二、单层感知机1.单层感知机模型2.训练过程3.单层感知机存在的问题三、多层感知机前言本深度学习系列是根据paddle飞浆所简单整理的，需要可自行跳转学习。本节是关于深度学习基础知识的相关内容，包括神经元、单层感知机与多层感知机。这是只会简单记录小部分知识，目的是方便以后复习用。一、神经元神经元细胞有抑制和兴奋两种状态。“McCulloch–Pitts (MCP) neuron”模型以上通过线性加权累加结果与阈值 θ进行比较解决二分类问题。二、单层