PhenomenonMe-优快云博客

转载 python 实现深度学习各个基础网络

文章目录一、CNN1.1 激活函数1.1.1 sigmoid1.1.2 relu1.1.3 softmax1.2 全连接层1.3 池化层1.4 卷积层二、序列模型2.1 RNN2.2 LSTM一、CNN1.1 激活函数1.1.1 sigmoiddef f_sigmoid(z): return 1.0/(1.0 + np.exp(-z))def f_sigmoid_derivate(z): y = f_sigmoid(z) return y*(1-y)1.1.2 rel

2021-08-22 21:48:17 254

原创深度学习流程（六）之评价指标

一、模型表现指标计算准确率：acc=正确的预测数量总量acc=\frac{正确的预测数量}{总量}acc=总量正确的预测数量精确率：P=正类预测正确数量正类总量P=\frac{正类预测正确数量}{正类总量}P=正类总量正类预测正确数量召回率：正类预测正确所有预测为正的数量\frac{正类预测正确}{所有预测为正的数量}所有预测为正的数量正类预测正确F1F_1F1：1F1=1P+1R\frac{1}{F_1}=\frac{1}{P}+\frac{1}{R}F11=P1+R1AUC：是

2021-07-24 19:17:33 504

原创深度学习流程（五）之优化器

一、常见的三种梯度下降方法SGD，Batch GD，mini-batchSGD 训练速度快，收敛慢Batch GD 训练慢，收敛快这三种优化方法存在一些问题：选择合适的学习率较为困难每个参数的学习率是一样的，没有加以区分训练中容易困在鞍点，在这种区域所有的优化方向都是0，没有办法继续优化二、 MomentumMomentum 是与 SGD 常为结合的一种方法，其不仅会使用当前的梯度，还会积累以前的梯度以确定走向。vt=η∗vt−1−α∗∇θJ(θ)v_t = \eta * v_{t-1

2021-07-23 20:41:19 193

原创深度学习流程（四）之反向传播

文章目录一、前向传播二、梯度下降三、交叉熵反向传播四、softmax+交叉熵损失求梯度五、梯度消失一、前向传播在前向传播过程中，要保留神经元的输出。二、梯度下降首先定义残差，设有 L 层，损失为 c ∂c∂zjL=∂c∂ajL⋅∂ajL∂zjL=δjL\frac{\partial c}{\partial z_j^L}=\frac{\partial c}{\partial a_j^L}\cdot \frac{\partial a_j^L}{\partial z_j^L}=\delta_j^L∂zjL

2021-07-09 15:48:38 139

原创深度学习流程（三）之损失函数

1. 损失函数损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。1.1 常见的损失函数分类任务：交叉熵损失匹配任务：三元组损失，对比损失风格迁移：风格损失，内容损失（欧氏距离）1.1.1 均方差损失(MSE, Mean Squared Error Loss)均方差损失是机器学习、深度学

2021-07-05 16:32:10 665

原创深度学习流程（二）之网络结构

文章目录一、激活函数1.1 为什么使用激活函数1.2 常用的激活函数1.2.1 sigmoid1.2.2 tanh1.2.3 relu1.3 神经元坏死现象1.4 激活函数的0均值问题1.4.1 收敛速度1.4.2 参数更新1.4.3 更新方向1.4.4 以0为中心的影响二、BatchNorm三、Dropout3.1 什么是Dropout四、CNN中的知识点五、RNN系列一、激活函数1.1 为什么使用激活函数如果不使用激活函数，那么在神经网络中，每一层的节点的输入都是上一层输出的线性函数。那么神经网络

2021-07-01 20:11:26 460

原创深度学习流程（一）之数据预处理

文章目录1. 数据增强的策略1.1 有监督的数据增强1.1.1 单样本数据增强1.1.1 多样本数据增强1.2 无监督的数据增强1.2.1 GAN1.2.2 Autoaugmentation2 样本不均衡怎么办2.1 欠采样2.2 过采样2.3 阈值移动2.4 改变原数据权值2.5 组合集成2.6 特征选择3 为什么对数据进行归一化1. 数据增强的策略数据增强也叫数据扩增，意思是在不实质性的增加数据的情况下，让有限的数据产生等价于更多数据的价值，从而获得更好的多样性，这就是数据增强的本质。数据增强可以

2021-06-28 21:58:23 1117

原创深度学习中的归一化方法简介（BN、LN、IN、GN）

文章目录1. 协方差偏移1. 协方差偏移协方差偏移：深度网络内部数据分布在训练过程中发生变化的现象。协方差偏移的影响：训练深度网络的时候，神经网络隐藏层参数更新会导致网络输出层输出数据的分布发生变化，如果不做归一化，那么每层网络输入的数据分布都是不同的。随着层数的增加，根据链式法则，这种偏移现象会逐渐被放大。这对于网络参数的学习来说是一个问题，因为神经网络本质就是学习数据分布，如果数据分布变化了，神经网络不得不学习新的分布。为了保证网络参数的稳定性和收敛性，往往会选择比较小的学习率，同时参数初始化

2021-05-31 16:34:59 2967

原创文本编码方式（词向量提取方式）

文章目录1. 文本编码方式1.1 one-hot1.2 分布式表示2. 分布式表示2.1 基于矩阵的分布式表示2.1.1 GloVe2.2 基于聚类的分布式表示2.2.1 布朗聚类2.3 基于神经网络的分布式表示3. 小结参考文献1. 文本编码方式1.1 one-hot缺点：维度大词和词之间都是孤立的，无法表示词与词之间的语义信息1.2 分布式表示正所谓：“物以类聚，人以群分”，所以分布式表示的主要思想为：上下文相似的词，其语义也相似。其主要分为三种方法。基于矩阵的分布式表示基于聚类

2021-05-18 22:26:26 2358

原创持续学习：（Elastic Weight Consolidation, EWC）Overcoming Catastrophic Forgetting in Neural Network

EWC目录概述1. 基础知识1.1 基本概念1.2 贝叶斯法则2. Elastic Weight Consolidation2.1 参数定义2.2 EWC 方法推导3. 拉普拉斯近似3.1 高斯分布拟合3.2 Fisher Information Matrix3.2.1 Fisher Information Matrix 的含义概述原论文地址：https://arxiv.org/pdf/1612.00796.pdf本博客参考了以下博客的理解地址：https://blog.youkuaiyun.com/dhaiu

2020-07-19 21:30:35 9446 9

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

firehuiplane的博客