
深度学习
文章平均质量分 62
群星闪耀
这个作者很懒,什么都没留下…
展开
-
Adam (L2 regularization) 和 AdamW(weight decay)的区别
原创 2021-12-02 11:33:28 · 7026 阅读 · 2 评论 -
MSSIM和L1loss的混合损失函数用于图像恢复
背景在图像恢复的深度神经网络当中。大部分的损失函数一般是L1 norm(MAE),L2 norm(MSE)。或者是SSIM,PSNR。其中SSIM有了评价函数的变体MS_SSIM,具体的实现先参考文献[2], 代码部分再去参考[1]。英伟达和MIT联合发表了一篇Loss Functions for Image Restoration with Neural Networks, 这种损失函数将MS_SIM和L1损失函数结合在一起。下面写一些具体如何实现实现过程MS_SSIM的实现过程已经在[1]中原创 2021-08-02 17:23:58 · 11201 阅读 · 13 评论 -
HDF5文件的介绍及python将大量图片文件存储为hdf5文件方便训练
HDF5文件介绍HDF(Hierarchical Data Format)指一种为存储和处理大容量科学数据设计的文件格式及相应库文件。HDF 最早由美国国家超级计算应用中心 NCSA 开发,目前在非盈利组织 HDF 小组维护下继续发展。当前流行的版本是 HDF5。HDF5 拥有一系列的优异特性,使其特别适合进行大量科学数据的存储和操作,如它支持非常多的数据类型,灵活,通用,跨平台,可扩展,高效的 I/O 性能,支持几乎无限量(高达 EB)的单文件存储等,详见其官方介绍:What is HDF5?。H5文原创 2021-07-30 14:13:35 · 10393 阅读 · 6 评论 -
Pytorch的padding值确定方法
问题描述:pytoch中没有像tensorflow里面,卷积层的padding设置为same之类的操作。而且论文当中很多都不会写padding设置是多少。现在我来记录一下如何根据模型来计算出每个卷积层的padding值的设置。一般来讲,根据卷积的原理,输入的大小和输出的大小之间的关系由如下公式表示:out_size=(input_size - kernerl_size + 2*padding)/stride +1在GitHub上我看到一个模型,标注了每个输入的size大小。可以很好的作为一个例子原创 2021-05-25 16:14:44 · 1328 阅读 · 2 评论 -
解决TypeError: ‘tuple‘ object is not callable,pytorch定义网络层的问题
报错:TypeError: 'tuple' object is not callable解决:如上图左上角所示,因为模型继承的是nn.Module,所以不是用的sequential来定义网络,依然加了逗号。所以会出错。可以改成nn.Sequential,或者把逗号删除。额外提示:如果用nn.Squential定义,缺少灵活性,但是也有优点。关于nn.Squential和nn.Model的定义不同可以详见:PyTorch 中的 ModuleList 和 Sequential:原创 2021-05-13 12:04:28 · 3148 阅读 · 1 评论 -
torchsummary的使用
这个库可以查看用pytorch搭建的模型,各层输出尺寸。1.安装相信大家使用到现在这个地步,导入库已经很熟练了。里面的坑我就不多说。pip install torchsummary2.导入from torchsummary import summarysummary(your_model, input_size=(channels, H, W))上述的your_model是搭建的模型,input_size是你输入的数据。比如输入一张图片大小为28*28的RGB(3个通道)的图原创 2021-05-12 20:49:22 · 5544 阅读 · 4 评论 -
AlexNet原理及Pytorch实现
1.论文分析为了对卷积神经网络CNN有更加透彻的了解,方便后续的CNN应用在其他方面。决定对经典论文AlexNet重新实现一遍。论文中原图如下:The first convolutional layer filters the 224×224×3 input image with 96 kernels of size 11×11×3 with a stride of 4 pixels (this is the distance between the receptive field cente原创 2021-05-12 20:39:17 · 619 阅读 · 2 评论 -
win10+cuda10.0+tensorflow-gpu==1.15安装教程
背景简介作为刚入门深度学习的小白,准备兴高采烈的开始用GPU跑深度学习算法.已经安装好了tensorflow的CPU版本,都是想要加速,搭建tensorflow-gpu的版本。我的环境是python==3.7, tensorflow==1.15,这两个的安装可以去参考其他教程,为什么在2021年还选择1.15的版本,因为我要用的代码还是tensorflow 版本1的,tensorflow 2.0的和原来的不一样,容易出现其他问题,为了早日上手深度学习,就不去弄2.0了。这里主要是讲解如何安装GPU加原创 2021-02-26 12:52:25 · 2334 阅读 · 0 评论 -
model.fit() fit详解
fit( x, y, batch_size=32, epochs=10, verbose=1, callbacks=None,validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None, initial_epoch=0)x:输入数据。如果模型只有一个输入,那...原创 2020-03-25 11:47:31 · 26528 阅读 · 1 评论