- 博客(6)
- 收藏
- 关注
RSS订阅原创 【第4周】MobileNet_ShuffleNet
2D卷积的输入形状为[N,C,H,W]，3D卷积的输入形状为[N,C,D,H,W]，N表示Batchsize，C为通道数，D为深度，H为高度，W为宽度。2D卷积的卷积核是没有深度的。SENet的引入有效地提高了模型的准确性，并在多个任务和数据集上取得了优秀的性能。的具体实现方式是对于输入特征input[N,C,H,W]通过变换变为[N,g,C/g,H,W]然后对于第1和2维度进行转置变为[N,C/g,g,H,W]，然后再通过变换变为[N,C,H,W]这样便完成了Channel Shuffle。
2023-08-05 08:32:34
155
1
原创 第三周作业ResNet+ResNeXt
提出了Residual Learning的概念，通过添加残差连接（shortcut connection）来解决深层网络中梯度消失和模型退化问题。Residual Learning的核心思想是学习残差函数，即将网络的输出与输入之间的差值学习为模型的优化目标，从而使模型可以更容易地学习恒等映射。在ResNet中，使用了“残差块”（Residual Block），每个块由两个或三个卷积层组成，其中包含了跳跃连接（shortcut connection）。
2023-07-28 13:15:54
129
1
原创 Dynamic Region-Aware Convolution论文阅读笔记
还有使用softmax来近似one-hot可能有点问题，比如[0.51,0,50,0,0]变成[1,0,0,0]使用softmax来代替one-hot的结果来进行反向穿鼻传播不是很合适，是不是可以对softmax后的结果加入loss约束，来保证最后呈现的结果符合one-hot的形式。引导掩模图每一个像素值代表的是引导特征哪一层的值最大，也就是说引导掩模图每一个像素值只能从0,1,2,3,……的输出，其中k为卷积核的大小，m为滤波器的种类，O为卷积后的输出通道数，C为输入通道数，这样得到的就是生成的滤波器。
2023-07-20 21:18:48
179
1
原创 CondConv: Conditionally Parameterized Convolutions for Efficient Inference 论文阅读笔记
这篇的想法是想要通过几个卷积核的线性组合来实现针对特定数据的卷积核来实现有条件的参数化卷积。但感觉可能仅靠几个卷积核的线性组合不一定能得到适合输入数据的卷积核，还有在训练的时候是不是可以考虑让每个expert代表的卷积核之间尽量不同这样每个expert组合就更有多样性。读这篇论文时，读的时候云里雾里，给的图片示例看的不是很懂，然后在网上找到了CondConv的pytorch实现的代码（还好比较简单，环境也正好）调试了一下，最后对这篇论文的逻辑基本顺通了。对于图1(b)，与(a)不同的是这里对。
2023-07-20 18:33:38
160
1
原创 第二周（卷积神经网络）
dataloader 里面 shuffle 取不同值有什么区别？shuffle可以为true或者false。如果为true这每一轮数据集图片的顺序都会被打乱。可以增加网络训练的随机性，减少过拟合。shuffle为false代表不每一轮数据集图片的顺序都一样。transform 里，取了不同值，这个有什么区别？transform 是在数据加载时对图像进行预处理的操作。不同的 transform 参数会对图像进行不同的处理。
2023-07-17 18:41:21
176
1
原创 第一周深度学习基础
1、AlexNet有哪些特点？为什么可以比LeNet取得更好的性能？相对于LeNet， AlexNet在激活函数上选取了非线性非饱和的relu函数，训练时随机dropout一部分神经元，避免网络过拟合。使用了重叠的最大池化，使用了LRN(Local Response Normalization)（网上看了看，好像说用处不大）。AlexNet比LeNet有更深的网络结构以及使用了Relu和dropout来改进AlexNet网络的训练。2、激活函数有哪些作用？
2023-07-11 17:18:32
190
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人