全员鳄鱼-优快云博客

原创有手就行, RAW格式批量转JPG

昨天带着相机去中山公园拍完郁金香后，美滋滋想用美图秀秀简单P一下就社交媒体，结果回到家傻眼了！因为相机被我设置成拍摄格式为RAW格式（佳能为CR3），RAW格式不能直接使用，那我需要对这将近一百张的RAW格式图片转换格式。不慌，其实只需要使用我们人人都有的Photoshop即可，什么版本都OK。步骤1：打开Photoshop，左上角“文件”-》“打开”，然后选定所有RAW格式图片步骤2：在CameraRAW里面全选，然后找到“导出”/“保存”之类的按钮（因Photoshop和CameraRAW版本不

2022-04-18 15:31:32 14784

原创 VSCODE debug 配置文件

先把interpreter（左下角调整至需要的环境）点击左侧debug，配置debug文件，一般选current file即可想要添加参数通过"args"，格式是"A", “B”。A=参数key，B=参数value

2021-06-17 15:07:58 1088 1

原创记录一些常用的SQL语句

SQL指的是？Structure Query Language提取数据？SELECT更新数据？UPDATE删除数据？DELETE插入新的数据？INSERT INTO如何从”Persons“表中选取”FirstName “列SELECT FirstName FROM Persons如何从 “Persons” 表中选取所有的列？SELECT * FROM Persons如何从 “Persons” 表中选取 “FirstName” 列的值以 “a” 开头的所有记录？SELECT *.

2021-04-15 11:23:18 367

原创 linux/服务器使用scp将一个服务器文件转移到另一个服务器上

scpscp用于将文件/目录在不同服务器上进行复制转移格式：scp -可选参数本地文件/目录用户名@IP地址:远程保存位置常用可选参数-r 递归整个文件夹，当复制文件夹时使用-v 显示进程详情，能够查看过程是否有异常-C 允许压缩。（将-C标志传递给ssh，从而打开压缩功能）-p 保留原文件的修改时间，访问时间和访问权限-P 设置端口样例1.从本地服务器文件夹复制转移到另一台服务器scp -r /home/Projects/ABC SunXiaochuan@172.11.44

2021-03-27 13:14:36 14113 4

原创 tensorboard ValueError: Duplicate plugins for name projector

背景突然，tensorboard的运行出现这个bug：tensorboard ValueError: Duplicate plugins for name projector字面意思就是有重复插件，大概是之前单独装了tensorboard，然后用conda装了一个tensorflow 2.0，结果又重复装了一个不同版本的tensorboard解决打开位置：/home/用户名/miniconda3/envs/lowlight/lib/python3.7/site-packages正常应该显示：

2021-03-23 19:53:16 714

原创 MIT-Adobe FiveK Dataset的使用（RAW转换成JPG）

MIT-ADOBE FiveK是一个包含5000张图片的一般用作与图像增强任务的配对数据集。其中input是DNG格式，一种RAW格式。输出是TIFF格式，并且由5位不同的PS专家进行修饰，一般的，都选择专家C的结果。数据集网址：https://data.csail.mit.edu/graphics/fivek/体积较大，共有约50个G（主要是因为相机RAW格式文件体积太大）使用NOTE THAT: 在项目WHITE_BOX中特别讲解了如何使用LIGHTROOM批量地对所有图片进行格式转换，本

2021-03-23 11:42:02 4746 2

原创 Pytorch单机多卡/并行训练 torch.nn.DataParallel()

直接整代码吧import torchmodel = xx # 确定好你的modelmodel = torch.nn.DataParallel(model.cuda(), device_ids=[0,1,2])#lossloss= XXLOSS.cuda()请注意：如果你输入的是torch.nn.DataParallel(model)是不对的，要先将model经过.cuda()放进GPU里面，再放进DataParallel！device_ids=[0,1,2]是设定在哪些GPU上进行并

2021-03-18 22:31:58 782 2

原创 Linux/服务器下的基于python的FFMPEG安装

目前由于大家基本都用的anaconda，所以建议通过anaconda安装conda install FFmpeg然后确定即可

2021-03-18 14:34:04 812

原创 Overleaf/Latex：表格过宽/太长怎么办？

使用overleaf写表格时候，报出了BUG，显示表格过长使用简单的缩放指令即可将表格长度进行控制，只要修改\scalebox{0.7}{}中的数字即可修改比例\begin{table*}[!ht]\scalebox{0.7}{ \begin{tabular} ... \end{tabular}}\caption{}\end{table*}...

2021-03-12 13:23:40 32587 3

原创 Linux/服务器环境下安装指定版本opencv/cv2

啥也别说了，直接访问清华源的关于opencv的下载地址：opencv找到适配自己的环境的文件下载后，把文件拖入服务器，执行pip install 文件名.whl即可完成安装如果中途出现问题，看看是不是自己的pip版本不够高。升级：python -m pip install --upgrade pip或者是目前系统不能安装.whl文件，这个的继续百度一下子就好了...

2021-03-07 18:22:45 1641

原创 Linux/服务器环境安装MiniConda

为什么装miniconda而不是anaconda？没啥，就是miniconda比较小，完整性也大差不差，所以建议直接装miniconda即可。Note that：miniconda类似简化版安装步骤直接访问miniconda下载页面我下载的是最新Python 3.8 Miniconda3 Linux 64-bit下载文件后缀为.sh将文件拖入服务器后，使用bash指令（就是运行的意思）：bash 文件名.sh安装开始，同时会有很多提示给你看，当然大家都不看，然后就一直往下，有时候要看清楚

2021-03-07 17:47:54 2134

原创 Python：关于类class、函数def、import和from...import的实际操作

当你自己要写一个完整的工程文档时，你需要能对文档中的各个.py文件正确引用同文件中的函数def和类class这里有一个print_test.py，里面包含了：先让我们分析一下：第一行是一个直接运行的print函数print123（）和print789（）是自定义函数print456是一个自定义类，里面包含了一个printfunction（）函数，而且此函数里面还调用了print123（）函数最下方是本文件的运行函数，而且里面也有一个print函数当我们直接运行本文件时，输出是什么呢：

2021-01-28 14:33:46 9790 1

原创 PIP报错：cannot import name ‘FormatControl‘

from：https://blog.youkuaiyun.com/weixin_43506858/article/details/104515951具体操作为：进入https://pypi.org/project/pip/19.1.1/#files 网站，然后下载好放到linux里面，执行：python setup.py install...

2020-12-28 22:40:53 759

原创关于PRelu：Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

前言内容是经典激活函数PRelu的提出内容上图左为Relu，右图为PRelu，P相比传统Relu，在坐标系左边有数值。用公式解释：当ai=0时，成为Relu；当ai是一个小且固定的数值，则变成Leaky Relu（ai=0.01），LRelu的motivation是为了防止零梯度，即坐标轴左侧有数值。但是在一些研究上，显示LRelu对于精度的影响微乎其微。Prelu相比Relu只增加了一丁点参数，模型大小上几乎没有任何影响。在相同的结构A下Prelu比Relu效果好...

2020-11-28 14:32:40 387

原创 ColorNet: Investigating the importance of color spaces for image classification

总结这是一篇讨论不同颜色空间（color space）对于分类任务（classification）精度影响的文章。文中介绍了RGB、LAB、YCrCb、HSV、CIE等等不同的颜色空间，在单一颜色空间上进行分类任务使用LAB颜色空间精度最高文中做了实验，证明同一个任务使用不同的组合的颜色空间数据集能够提升精度，即某些特定的颜色空间能够更好地表示某些特定的图像内容网络模型使用晚期融合，即先在不同的颜色空间上进行训练，到最后再融合实验多是在CIFAR数据集上进行；使用scikit库进行颜色空间转

2020-10-22 10:43:45 541

原创 Fast Enhancement for Non-Uniform Illumination Images using Light-weight CNNs

重点暗光增强任务面临着输入图像模糊、信息少、低饱和度、低对比度等退化问题，目前有非常多的方法已经提出来解决问题，但是，并没有一个方法足够轻量化、速度快，以至于将模型部署到移动端上。全文最最重要的就是说自己的网络轻量化、速度快作者提出了一种方法：使用经过预处理（retouching module）的数据集（图选自COCO），以原图+max value of RGB+反 max value of RGB 结合图作为input，先训练illumination net和fushion net，illum

2020-10-15 20:14:42 1380 4

原创神经网络调参：loss震荡过于明显/loss剧烈抖动

前言在训练网络的时候，常常会出现loss出现非常明显的剧烈抖动情况，虽然大多数情况可以继续训练下去，但是实际上还是预示着问题存在。而且，有不同维度的问题，这也需要不同的解决方法，但是具体究竟是哪一种，还得具体情况具体分析。无过拟合是否找到合适的loss函数：在深度学习里面，不同的loss针对的任务是有不同的，有些loss函数比较通用例如L1/L2等，而如perceptual loss则比较适合在图像恢复/生成领域的任务上。当loss出现问题的适合，想一想，是不是loss设置的有问题，别人在此领域的任

2020-09-24 21:46:19 58498 8

原创 nohup指令让工程文件可以在后台运行而不受shell关闭连接的影响

前言当我们跑任务的时候，往往时间非常久，如果此时出了某些问题，导致shell关闭了连接，那等于之前训练会中断，如果代码中没有保存的功能，则直接训练的都没有用了。使用nohup指令就是为了让工程.py文件在后台运行，而不受shell断开连接的影响nohup使用nohup，英文是no hang up的缩写，即不要挂断。我们通过建立一个小的文件来测试：vim test.py # 创建文件import timex = 0while x>=0: print(x) time.sleep(1)

2020-09-22 19:50:40 358

原创 cuda版本不一致以及更新cudatoolkit出现错误以及RemoveError: ‘requests‘

在更改cudatoolkit版本的时候，出现错误：RemoveError: ‘requests’ is a dependency of conda and cannot be removed from conda’s operating environment.通过查询资料，有提供了几种方法：有说conda版本太低的，于是乎使用conda update conda，但是仍旧报错。之后查询，使用conda update --force conda，强制执行升级conda有说是因为requests

2020-09-15 20:42:44 2156

原创 low-light系列：Lightening Network for Low-light Image Enhancement

前言文章下载链接在后面这是一篇顶刊TIP2020的文章，重点在于：文章将暗光增强任务视为一个求residual（残差）的任务LBP模块的提出，借用了SR（超分辨率）任务中的back-projection思想可调亮度的参数γ没有采用常用的L1、L2作为loss，而是采用SSIM loss 与TV smooth loss暗光增强任务需要融合global和local不同层级的特征才能很好地完成任务residual的假设Y=X+γP(X)−nY = X + \gamma P(X)-nY=X+γ

2020-09-14 15:02:42 3093 8

原创 ipdb用于深度学习框架pytorch上的debug

安装pip install ipdb使用程序内import ipdb# 在希望断点的位置写上ipdb.set_trace()程序外在程序内写断点回有点给代码不整洁的感觉，所以有时候也在linux命令行上直接启动ipdb：python -m ipdb xxxx.py这时候是从第一行开始debug的噢！！常用按键n：下一步s：步入某函数中c：运行完程序或运行到下一个set_trace()（如有）crt+d：键盘操作，退出debug...

2020-09-09 22:15:06 711

原创本地浏览器访问tensorboard或者tensorboardX

在程序中使用了tensorboard之后，在相对应的文件夹使用tensorboard --logdir=./log，当然此时你tensorboard记录的是./log文件夹。之后出现：TensorBoard 1.13.1 at http://xxxx-group:6006 (Press CTRL+C to quit)不需要xshell使用隧道进行连接，直接在本地浏览器中输入：172.18.3x.xxx:6006即可访问tensorboard...

2020-09-05 21:52:14 574

原创关于cuda驱动版本以及cuda运行版本不匹配的问题

前言运行之前运行没有报错过的基于tf1.13.1的程序，报错：CUDA driver version is insufficient for CUDA runtime version网上搜索了一下，是因为cuda的驱动版本与cuda的运行版本不匹配导致的。后面询问，原来是组里其他人在全局进行了操作，导致此项问题出现。关于cuda驱动版本与运行版本在命令行中输入：nvidia-smi，在右上角会出现Driver Version:384.130，此为cuda驱动版本。而cudatoolkit以及cudn

2020-09-05 21:06:09 7482 1

原创解决cuda版本不一致以及安装不同版本cuda的方法

主要参考自：https://baijiahao.baidu.com/s?id=1663920145053509733&wfr=spider&for=pchttps://www.cnblogs.com/laosan007/p/12612446.html

2020-09-03 20:01:04 4041

原创 Linux：stat cuda的使用/确定cuda的软链接

在/usr/local/的位置下使用命令：stat cuda，可以查看cuda文件夹具体软链接到哪个cuda文件夹上，主要作用是确定cuda具体使用的是哪个版本。如在我的服务器上使用，则出现以下文字：文件：'cuda' -> '/opt/cuda-8.0' 大小：13 块：0 IO 块：4096 符号链接设备：811h/2065d Inode：2105708 硬链接：1权限：(0777/lrwxrwxrwx) Uid：( 0/

2020-09-03 19:48:15 1719

原创 Python：glob与os.listdir

import osfrom glob import glob想要获取文件夹目录下的文件，可以用这两个方法，os.listdir(path)和glob(path + ‘*.某格式’)os.listdir(path)：得到path下的全部文件列表，列表中没有路径的！glob(path + ‘*.某格式’)：得到path下某个格式的全部文件列表，例如*.png是获取所有png图片，获取的是带有路径文件的列表...

2020-08-22 21:03:16 2211

原创 Linux：linux终端命令关闭pycharm

刚不小心把电脑电源踢了，然后重新开机打开pycharm一直显示already running，打不开。即之前程序被挂载着有残留，需要强制关闭才能重新使用pycharm。使用ps u查看属于pycharm的pid代码是多少，假如是1234那么再使用kill -9 1234即可杀掉已经挂载的程序，之后就可以重新打开了。...

2020-08-22 16:46:34 6436

原创 RCAN/RCAB：Image Super-Resolution Using Very Deep Residual Channel Attention Networks

前言这是使用在超分辨率领域的一个论文，主要卖点是提出的名叫RCAB的注意力模块。Motivation低分辨率图像（DR）中包含大量低频信息，但是在一般的卷积神经网络中每个通道中的特征会被同等对待，缺乏跨特征通道的区分学习能力，阻碍了深层网络的表征能力，不符合超分辨率任务中尽可能多地恢复高频信息的需求。MethodsRCAN本文提出了residual channel attention network（RCAN），残差通道注意力网络，来自适应地学习较深的网络中不同通道中的特征。提出residu

2020-08-20 17:26:54 2793 1

原创 Linux：解决linux每次打开新终端都要重新source ~/.bashrc问题

执行以下代码：vi ~/.bash_profile有可能此文件是空白新建的，无所谓。然后在此文件末尾加入：if [ -f ~/.bashrc ];thensource ~/.bashrcfi然后:wq保存即可。此时打开新终端可以自动执行source ~/.bashrc

2020-08-20 13:08:56 6499 6

原创推荐一款好用的markdown编辑器：typora

市面上有非常非常多的markdown编辑器，搜索框一输入“markdown编辑器推荐”，从csdn到某乎到各大网站都有推荐不同的多达十几种的markdown编辑器。不少我都试着用了一下，最后发现有这么一款编辑器很适合我的使用，也就推荐给大家，那就是typora。typora是一个非常简洁的markdown编辑器，甚至不像一般编辑器一样有左右对应的书写与展示两个窗口，直接只有一个窗口，输入一些语法的什么直接在本页面给你变成转换后的展示。关于这一点是好是坏不讨论，可以说大多数人需要适应一下。然后typor

2020-08-20 10:16:09 399

PyTorch深度学习实践.zip

空空如也