qq_38410428的博客

首先，先上SENet架构的原理图：（这里r=16）图是将SE模块嵌入到Inception结构的一个示例。方框旁边的维度信息代表该层的输出。这里我们使用global average pooling作为Squeeze操作。紧接着两个Fully Connected 层组成一个Bottleneck结构去建模通道间的相关性，并输出和输入特征同样数目的权重。我们首先将特征维度降低到输入的1/16，然后经...

周期性学习率（CLR）循环学习率是学习率调整的策略，其在周期性质中将学习率从基值增加。通常，周期的频率是恒定的，但是振幅通常在每个周期或每个小批量迭代中动态地缩放。from keras.callbacks import *from keras.models import Sequential, Modelfrom keras.layers import Dense, Activation...

修改keras配置文件，可以更改keras后端依赖的框架：sudo gedit ~/.keras/keras.json{ "epsilon": 1e-07, "floatx": "float32", "image_data_format":"channels_last" , "backend": "tensorflow", "image_dim_o...

从 1998 年经典的 LeNet，到 2012 年历史性的 AlexNet，之后深度学习进入了蓬勃发展阶段，百花齐放，大放异彩，出现了各式各样的不同网络，包括 LeNet、AlexNet、ZFNet、VGG、NiN、Inception v1 到 v4、Inception-ResNet、ResNet、WRN、FractalNet、Stochastic Depth、DenseNet、ResNeXt、...

反卷积(Deconvolution)、上采样(UNSampling)与上池化(UnPooling)相关代码和可视化代码在附录反卷积(Deconvolution)反卷积（转置卷积、空洞卷积（微步卷积））近几年用得较多，可以概括为：反卷积=上采样=（转置卷积+微步卷积）⊆ 空洞卷积=一般意义上的广义卷积（包含上采样和下采样）。这是空洞卷积（微步卷积）的例子，其中下面的图是输入，上面的图是输出，...

两者相比，端到端的学习省去了在每一个独立学习任务执行之前所做的数据标注，为样本做标注的代价是昂贵的、易出错的。

序言：MoXing是华为云深度学习服务提供的网络模型开发API。相对于TensorFlow和MXNet等原生API而言，MoXing API让模型的代码编写更加简单，而且能够自动获取高性能的分布式执行能力。1、走近深度学习，认识MoXing：初识华为云ModelArts的王牌利器 — MoXing首先，“MoXing”是“模型”一词的汉语拼音。因为深度学习时代，中国的科研和工程团队逐步成为行...

神经网络中使用激活函数来加入非线性因素，提高模型的表达能力。ReLU(Rectified Linear Unit,修正线性单元)形式如下:ReLU公式近似推导::下面解释上述公式中的softplus,Noisy ReLU.softplus函数与ReLU函数接近,但比较平滑, 同ReLU一样是...