CNN知识点集合

最新推荐文章于 2024-04-15 18:00:34 发布
原创 最新推荐文章于 2024-04-15 18:00:34 发布 · 681 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#CNN

本文深入探讨了CNN的改进方案，包括不同类型的池化层如Lp Pooling、Spatial Pyramid Pooling等，以及各种激活函数如ReLU、ELU。同时，介绍了损失函数如Hinge Loss和Triplet Loss，并讨论了CNN优化技术，如Data Augmentation和Batch Normalization。

CNN各种改进方案优势

CNN 具有平移不变形
TCNN(Tiled Convolution)具有平移不变形、旋转不变形、缩放不变性
Transposed Convolution只是为了重建先前的空间分辨率，执行了卷积操作，这不是卷积的数学逆过程。
Dilated Convolution提供了更大的感受野

池化层的各种函数

1.Lp pooling

在这里插入图片描述

2.Mixed Pooling

在这里插入图片描述
λ\lambdaλ随机取值0或1

3.Stochastic Pooling

计算每个点的pi
在这里插入图片描述
选择lll，令yi=al,l P(p1,⋅⋅⋅⋅,p∣Rj∣y_i=a_l,l~P(p1,····,p_{|Rj|}yi​=al​,l P(p1,⋅⋅⋅⋅,p∣Rj∣​。

4.Spectral Pooling

利用DFT转换原始mm的feature map 取其中心的hw的区域，将这个区域通过逆DFT变换获得最终的h*w的输出矩阵。

5.Spatial Pyramid Pooling

SPP池的输入特征映射在与图像大小成正比的局部空间容器中，从而获得固定的输出。可以忽视输入的尺寸。

6.Multi-scale Orderless Pooling（不太明白）

用多个尺度滑动窗得到一些patch，对每个patch提CNN特征，再用VLAD pooling将这些patch级别的CNN编码，得到一幅图的表示，最后将这2个滑窗尺度下的pooling结果和整幅图的CNN特征相连，得到图像最终的特征表示。

激活函数

1.ReLU

在这里插入图片描述
k为第k个通道。

2.Leaky ReLU

最低0.47元/天 解锁文章
CNN-卷积神经网络-基本知识点总结
m0_59402094的博客
04-18 1518
CNN-卷积神经网络基本知识点总结
CNN基础知识点
要努力成为很厉害很厉害的人哦
04-02 488
1. 卷积 1.1 卷基层由多个filter构成,每个filter有长,宽,channel(C)决定. C要和上一层的channel的数据决定. 1.2 每个channel各位置上的参数各不相同 1.3 上一层的channel和fitler的相应channel做卷积操作,然后将各channel相应位置的卷积结果相加, 生成一维的结果. 2. pooling 为了减少参数, 进行max...
CNN知识点整理
Yan飞翔
06-02 513
其中1*1卷积核的作用摘抄自https://blog.youkuaiyun.com/briblue/article/details/83151475 以下整理刚刚学习的CNN的一些知识点： 一、Input layer: 一般输入数据都会进行一些预处理，常见的有以下步骤（图像处理中）： 1）去均值：把输入数据各个维度都中心化到0 2）归一化：幅度归一化到同样的范围 3）PCA/whitening:用...
卷积神经网络（CNN）知识点
ryankaros的博客
07-05 775
卷积神经网络（CNN） 1. 卷积核（convolutional kernel）----对某个局部的加权求和 一般为奇数大小 厚度对应通道数（channel），对应后一层的feature maps数 –11卷积核降维（example：当输入为661，通过111卷积核，输出仍为661矩阵。若输入6632（多通道），卷积核仍然为111，输出就变为66*1，实现降维）【发生在卷积核个数小于输入channel时，输出通道数等于卷积核个数】 —1*1卷积核（只会改变输出的通道数，不会影响输出特征高和宽）【实现了通道
CNN 知识点总结
leo_fighting
08-15 391
Pooling layer 的作用 汇合层的引入是仿照人的视觉系统对视觉输入对象进行降维（降采样）和抽 象。在卷积神经网络过去的工作中，研究者普遍认为汇合层有如下三种功效： 1.特征不变性（feature invariant）。汇合操作使模型更关注是否存在某些特 征而不是特征具体的位置。可看作是一种很强的先验，使特征学习包含某 种程度自由度，能容忍一些特征微小的位移。 2.特征降维。由于汇合操作的...
cnn-utils:每天用于cnn目的的通用util函数的集合
04-16
不过，通常在处理CNN时，我们可以期待这个工具包包含以下一些关键知识点： 1. **数据预处理**：CNN模型对输入数据的质量有较高要求，因此工具包可能包含数据规范化、归一化、随机翻转、裁剪、色彩空间转换等功能，...
3dmm_cnn-master_cnn3dmm_
09-29
标题中的“3dmm_cnn-master_cnn3dmm_”暗示了这是一个关于3DMM（三维面部模型）和CNN（卷积神经网络）结合的项目。...通过深入理解和实践这些知识点，可以掌握如何利用深度学习技术来解决三维人脸建模的问题。
cnn论文.zip cnn论文合集
05-13
让我们逐一深入探讨这些知识点。 首先，VGG（Visual Geometry Group）网络是由牛津大学的研究团队提出的，其特点是使用了大量的3x3卷积层，通过堆叠这些小尺寸的滤波器来构建深网络，以提高特征提取的精度。VGG-16...
【算法岗面试知识点】CNN、梯度下降、损失函数、过拟合
qq_36037953的博客
08-19 7763
CNN 1 卷积神经网络与传统多层神经网络对比 传统意义上的多层神经网络是只有输入层、隐藏层、输出层。 卷积神经网络CNN，在原来多层神经网络的基础上，加入了更加有效的特征学习部分，具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与池化层。卷积神经网络出现，使得神经网络层数得以加深，深度学习才能实现。 通常所说的深度学习，一般指的是这些CNN等新的结构以及一些新的方法（比如新的激活函数Relu等），解决了传统多层神经网络的一些难以解决的问题 神经网络(neural networks)的基
深度学习知识点：卷积神经网络（CNN）
最新发布
FriendshipTang的博客
04-15 1877
人工智能、机器学习、深度学习、神经网络、CNN
ILSVRC2014_NUS_release (CCCP Pooling layer)
12-09
最新的CNN网络模型Network in Network ，新加坡国立大学的论文，最主要的进展就是引入了CCCP Layer。
卷积神经网络（CNN）知识点总结
weixin_44111292的博客
05-13 4179
文章目录1 卷积1.1 卷积的定义1.1.1 一维卷积1.1.2 二维卷积1.2 互相关1.3 卷积的运算1.3.1 边界效应与填充1.3.2 卷积步幅1.4 卷积的数学性质1.4.1 交换性1.4.2 导数2 卷积神经网络 1 卷积 1.1 卷积的定义 1.1.1 一维卷积 1.1.2 二维卷积 1.2 互相关 1.3 卷积的运算 1.3.1 边界效应与填充 1.3.2 卷积步幅 1.4 卷积的数学性质 1.4.1 交换性 1.4.2 导数 2 卷积神经网络 ...
卷积神经网络CNN知识点
王小胖儿的博客
05-27 1264
1.计算feature map大小      size= (W-K+2P)/S+1      其中，W是输入图像尺寸                  K 是卷积核kernel的大小                  P是padding的大小                  S是步长     2.ROI从原图中映射到feature map上
深度学习基础知识点（一）CNN卷积神经网络——1.卷积方面的原理
weixin_43570470的博客
05-12 3140
1.感受野受哪几个参数的影响，计算感受野的大小 ？ 2.上采样方式subpixel，反卷积，resize 3.卷积核大小为什么是奇数？ 4.CNN为什么参数共享? 5.Dropout是什么？为什么Dropout可以防止过拟合？Dropout具体工作流程？Dropout在测试时需要怎么补偿？为什么说Dropout可以解决过拟合？ 6.CNN的平移不变怎么体现？ 7.为什么CNN比DNN在图像领域更具优势？......
CNN的重点整理
yiyisunshine的博客
11-20 1293
卷积神经网络：深度学习常用的特征提取方法 转载通俗理解卷积神经网络 - Loving_Forever_的博客 - 博客频道 - youkuaiyun.com http://blog.youkuaiyun.com/loving_forever_/article/details/52389862 1.常用的非线性激活函数: sigmoid、tanh、relu等等，前两者sigmoid/tanh比较常见于
卷积神经网络（CNN）——基础知识整理
不要给自己设限，尝试更多可能（思所向 皆可往）
03-29 3172
卷积神经网络的基本知识： 既然叫卷积神经网络，这里面首先是卷积，然后是神经网络，是二者的一个结合，卷积这个概念实际上来自信号处理领域，一般是对2个信号进行卷积运算，见下图：
CNN的相关知识总结和实践
anshuai_aw1的博客
12-12 584
Q：如果输入图片的尺寸为HWC，经过K个S*S的卷积核，步长(stride)为L，zero-padding为P，那么经过该卷积层输出图像的尺寸是多少？不考虑偏置的话，涉及到多少个参数？ A：经过这样的操作，输出图片的长为 (H+2P−S)/L+1(H+2P-S)/L+1(H+2P−S)/L+1，宽为(W+2P−S)/L+1(W+2P-S)/L+1(W+2P−S)/L+1，深为K。 参数数量：总共涉...
深度学习之CNN常见考点
永远飞翔的鸟
08-03 467
一.池化层（pooling）的反向传播是怎么实现的 参考博客：https://blog.youkuaiyun.com/qq_21190081/article/details/72871704 在看卷积神经网络的时候，突然想起来池化是会改变特征图的尺寸的，那反向传播是怎么实现的呢。于是搜了一些博客，感觉上面这个博客写得最清晰直观，就从这个博客里面搬了点东西过来作为笔记。 Pooling池化操作的反向梯度传...
CNN的经典文章要点总结
yww的博客
07-18 4291
AlexNet（2012） 1.ReLU Nonlinearity 2.Training on Multiple GPUs 3 Local Response Normalization 4 overlapping pooling 5.减少过拟合 5.1 data augmentation 5.2 dropout（1-x） 6.训练设置 7.结果 VGG16/19(2014) 1.小尺...
损失函数总结（八）：MultiMarginLoss、MultiLabelMarginLoss
走在深度学习前沿的小宋
10-27 1313
本文对损失函数进行了部分总结，包括：MultiMarginLoss、MultiLabelMarginLoss等损失函数及其在当前损失函数众多的情况下使用的环境。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值