John's Blogs

原创 远程访问Linux服务器的JupyterLab

目录1、登录远程Linux服务器2、安装JupyterLab3、生成配置文件4、设置密码5、修改配置文件6、安装Node.js7、启动JupyterLab8、远程访问指定的端口，服务器对外开放指定的端口，服务器不对外开放本文的配置方法对于Jupyter Notebook一样有效1、登录远程Linux服务器2、安装JupyterLabpip install jupyterlab3、生成配置文件jupyter notebook --generate-config#生成的文件位于：~/.jupyt

原创 Anaconda使用总结

目录1、Anaconda简介2、Anaconda安装(Linux和Windows)3、Conda的包管理与环境管理1、Anaconda简介Anaconda是一个用于科学计算的Python发行版，支持 Linux、 Mac、Windows系统，提供了包管理与环境管理的功能，可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。Anaconda利用工具/命令conda来进行p...

原创 mmdetection框架的安装、训练与测试

1、框架介绍mmdetection is an open source object detection toolbox based on PyTorch. It is a part of the open-mmlab project developed by Multimedia Laboratory, CUHK.Major features1、Modular DesignWe dec...

原创 利用Python的random模块获取任意范围随机数

随机函数import randomrandom.random() #0到1的随机浮点数 [0, 1)random.uniform(a, b) #生成指定范围内的随机浮点数[a, b]random.randint(a, b) #生成指定范围内的整形数[a, b]random.randrange([a], b[, step]) #[a, b), step 按照指定的步长，随机从指定范围选取整形值 等效于 == random.choice(range(a, b, step))#sequence可

原创 Win10设置聚焦策略为“聚焦跟随鼠标”

问题引入Windows默认的指针聚焦策略为“单击聚焦”，这意味着，为了让窗口聚焦（变成活动窗口）需要单击它，才能成为前端窗口。 这与“聚焦跟随着鼠标”的传统 X 行为不同，传统 X 行为是指只要把鼠标移动到一个窗口的上方，它能接受输入。e.g. 多个窗口之间的切换和输入需要点击才可以进行输入，效率较低！解决办法控制面板–>轻松使用设置中心–> 使鼠标易于使用–> 通过将鼠标悬停在窗口上来激活窗口...

转载 pytorch模型的保存、加载和微改

保存pytorch模型的两种方法import torch'''保存pytorch模型的两种方法'''## 保存整个神经网络的结构信息和模型的参数信息，save的对象是网络nettorch.save(model_object, 'net.pth')model = torch.load('net.pth')## 只保存神经网络的训练模型参数，save的对象是net.state_dict()torch.save(model_object.state_dict(), 'net.pth')mod

原创 利用opencv-python实现视频转图片, 和图片转视频互转

关键点：视频–>图片cap = cv2.VideoCapture(video_path)success, frame = cap.read()图片–>视频video = cv2.VideoWriter(videoPath, fourcc, fps, size)video.write(img)完整代码import cv2import osimport shutildef video2imgs(videoPath, imgPath, interval=1): if n

原创 pytorch加载模型时出现.....xxx.pth is a zip archive (did you mean to use torch.jit.load()?)

Bug原因: 训练和测试的torch版本不一致。训练的时候是1.x，测试的时候是1.m。解决办法： 先在1.x版本下加载模型，然后在保存的时候设置use_new_zipfile_serialization=False 就行了。#torch_version==1.ximport torchfrom models import netcheckpoint = 'xxx.pth'model = net()model.load_state_dict(torch.load(checkpoint))m

原创 Xshell 使用命令上传、下载文件

1、安装lrzszyum install lrzsz -y2、上传文件rz #弹出选择对话框，选择好文件后，点击打开就能上传到当前目录下3、下载文件sz file #弹出对话框，选择保存的路径后点击确定即可下载文件4、默认下载地址设置属性对话框中设置默认的下载路径，这样使用sz命令下载文件就能自动保存到默认的路径下了...

原创 Visio绘制神经网络层Layer

开发工具文件–>选项–>高级–>常规(以开发人员模式运行)绘制网络层

原创 使用python内置函数dir() getattr() setattr()编写模型Config配置文件

内置函数简介dir()函数：列出模块定义的标识符(函数，类或者变量）getattr(object, name, default)：取得object的name成员的value。如果name成员不存在就返回default的value；如果default未给出则raise AttributeError.setattr(object, name, value)：新建/修改object的name成员的值为value。配置文件Configconfig.py#directory to save weight

原创 Pytorch模型(.pth)转onnx模型(.onnx)

简介Open Neural Network Exchange（ONNX，开放神经网络交换）格式，是一个用于表示深度学习模型的标准，可使模型在不同框架之间进行转移。ONNX是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch, MXNet）可以采用相同格式存储模型数据并交互。 ONNX的规范及代码主要由微软，亚马逊 ，Facebook 和 IBM等公司共同开发，以开放源代码的方式托管在Github上。目前官方支持加载ONNX模型并进行推理的深度学习

原创 [“炼丹“环境配置]Conda安装慢？“ 一分钟“ 轻松创建“炼丹“环境(cuda+cudnn+anaconda+pytorch+torchvision+cudatoolkit)

工欲善其事，必先利其器工欲善其事，必先利其器是说:工匠想要使他的工作做好，一定要先让工具锋利。比喻要做好一件事，准备工作非常重要。语出《论语·卫灵公》：子贡问为仁。子曰：“工欲善其事，必先利其器。居是邦也，事其大夫之贤者，友其士之仁者。”An artisan must first sharpen his tools if he is to do his work well.目录cuda/ cudnnDownloadInstall & UninstallanacondaDownloadIns.

转载 Awesome Meta Learning

Awesome Meta LearningA curated list of Meta Learning papers, code, books, blogs, videos, datasets and other resources.Table of ContentsPapers and CodeBooksBlogsLecture VideosDatasetsWorkshopsResearchersPapers and CodeA curated set of papers al

原创 Pytorch: split() 函数

作用：对tensor在某一dim维度下，根据指定的大小split_size=int，或者list(int)来分割数据，返回tuple元组。torch.split(tensor, split_size_or_sections, dim=0)注意两个细节：1、当split_size为一个int数时，若不能整除int，剩余的数据直接作为一块。2、当split_size为一个列表时，所有数字的和等于要分割的维度大小。#细节1import torchinput = torch.randn(4,10,8)

原创 Pytorch模型中同时定义多个可训练的单变量

定义多个可训练的尺度权重系数import torchfrom torch import nnclass Scale(nn.Module): def __init__(self, init_value=1.0): super(Scale, self).__init__() self.scale = nn.Parameter(torch.FloatTensor([init_value])) def forward(self, input):

原创 OSError: Could not find kaggle.json. Make sure it‘s located in /home/user/.kaggle.

Bug: OSError: Could not find kaggle.json. Make sure it’s located in /home/jyjiang/.kaggle. Or use the environment method.原因：当利用kaggle上传和下载文件时，kaggle需要知道账号的身份信息。解决：kaggle --> My Account --> API --> Create New API Token，下载得到kaggle.json文件，放在/home/u

原创 Pytorch函数使用记录

文章目录F.conv2d (函数式接口)torch.nonzerotorch.wheretorch.clamptorch.linspacetorch.repeattorch.topk|torch.sort|torch.ne|torch.min|torch.max|torch.lt|torch.le|torch.kthvalue|torch.gt|torch.ge|torch.equal|torch.eqF.conv2d (函数式接口)Pytorch里一般小写的都是函数式的接口，相应的大写的是类式接口，函

原创 Pytorch:gather函数

TORCH.GATHER作用：从张量中根据下标位置沿指定dim取出指定元素聚合成新张量#函数定义torch.gather(input, dim, index, out=None, sparse_grad=False) → Tensor注意蓝绿色框内的下标，也就可以明白该函数的使用。由红框中的内容可知，out的大小和index的大小是一样的。index需要和input具有除了dim以外相同的维度数。Example:#一维t = torch.tensor([1, 3, 5, 0, 9])

原创 json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 235)

Bug: json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 235)原因：json文件太大，json.load(f)导致的错误。解决：按字符串的形式一行行的读取，然后利用 json.loads(line) 转化为json的格式来处理。def read_json(data_path, stage, key_1, key_2): iter, acc_seg = [], [] with open(data_path

原创 COCO数据集详解

COCO的全称是Common Objects in Context，是微软团队提供的一个可以用来进行图像识别的数据集。MS COCO数据集中的图像分为训练、验证和测试集。 Download && Paper2014：训练集 + 验证集 + 测试集2015：测试集2017：训练集 + 验证集 + 测试集PK内容包括： 目标检测与实例分割、人体关键点检测、材料识别、全景分割、图像描述目标检测/实例分割数据标注文件解析本文以“** coco2017/annotations/

原创 读取.json文件绘制模型训练acc和loss变化曲线

模型训练过程保存在.json文件中，读取.json绘制acc和loss变化曲线，方便观察模型随Iteration收敛情况的变化：代码实现：1、两个模型训练acc随Iteration的变化import matplotlib.pyplot as pltfrom matplotlib.pyplot import MultipleLocatorimport jsondata_path_1 = "./1.json"data_path_2 = "./2.json"def read_json(data_

转载 计算机视觉应该怎样入门？

知乎问答：计算机视觉应该怎样入门？目录第一阶段 技术基石图像处理基础图像处理进阶第二阶段 深度学习神经网络初步与调参技巧深度卷积神经网络原理与实践图像搜索技术大规模车辆图片搜索/重识别第三阶段 重点攻坚目标检测及其在无人驾驶领域的作用深度学习在图像语义分割中的应用第四阶段 技术前沿RNN及其应用AlphaGo （强化学习）和GAN背后的原理原图链接第一阶段 技术基石图像处理基础图像处理进阶第二阶段 深度学习神经网络初步与调参技巧深度卷积神经网络原理与实践图像搜索技术大规模车辆图片

原创 How to read a paper

Questions To Ask YourselfAndrew provides a set of questions that you should ask yourself as you read a paper. These questions generally will show you understand the critical information presented in a paper. I use the questions below as beacons to ensure

原创 DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution

原创 D2Det: Towards High Quality Object Detection and Instance Segmentation

原创 Pytorch：expand_as() 和 expand()用法

expand的含义：为1的维度可以变大维度或者维度数增多tensor_1.expand(size)：把tensor_1扩展成size的形状tensor_1.expand_as(tensor_2) ：把tensor_1扩展成和tensor_2一样的形状import torch#1x = torch.randn(2, 1, 1)#为1可以扩展为3和4x = x.expand(2, 3, 4)print('x :', x.size())>>> x : torch.Size([2

转载 语义分割该如何走下去(不限于语义分割)

评论来源：语义分割该如何走下去“ 当然，如下的看法并不仅仅限于语义分割，对于目标检测、实例分割等方向也都存在同样的问题。”顶会顶刊paper看来看去真没啥突破：（1）手动设计网络结构 -> NAS搜索；（2）固定感受野 -> 引入空间注意力做感受野自动调节；（3）效果提升不上去 -> 换个思路做实时分割来对比结果；（4）自监督太热门 -> 引入弱监督 （GAN, 知识蒸馏, …） + trick = 差不多的score；（5）DNN太枯燥，融入点传统视觉的方法搞成end

原创 计算机视觉中的各种卷积(Convolution in Computer Vision)

目录1. 卷积与互相关Cross-correlation2. 深度学习中的卷积（单通道版本，多通道版本）(single channel version, multi-channel version)3. 3D 卷积4. 1×1 卷积5. 卷积算术Convolution Arithmetic6. 转置卷积（去卷积、棋盘效应）Transposed Convolution (Deconvolution, checkerboard artifacts)7. 扩张卷积Dilated Convolution (Atro

原创 注意力机制(Attention Mechanism)

目录概述自注意力（self-attention）NLPCV软注意力（soft-attention）通道注意力Non-Local位置注意力（position-wise attention）混合域模型(融合空间域和通道域注意力)概述计算机视觉（computer vision）中的注意力机制（attention）的基本思想就是想让模型学会注意力——能够忽略无关噪声信息而关注重点信息。自注意力（self-attention）NLP论文链接：Attention Is All You Need代码来源：Th

原创 Dynamic Convolution: Attention over Convolution Kernels

目录MotivationDynamic Convolution基本思路额外计算量DY难点Experiment论文链接：https://arxiv.org/abs/1912.03458Motivation现象：轻量级卷积神经网络（light-weight convolutional neural network）因其较低的计算预算而限制了 CNN 的深度（卷积层数）和宽度（通道数），不仅导致模型性能下降，表示能力也会受到限制。思路：要想不增加网络深度或宽度的情况下增加模型的表达能力（represent

原创 CVPR 2020-Scene Text Detection&Recognition

目录场景文本检测（Scene Text Detection）(2篇)场景文本识别（Scene Text Recognition）(5篇)场景文本检测（Scene Text Detection）(2篇)Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection（Oral）Code：https://github.com/GXYM/DRRG解读：https://blog.youkuaiyun.com/SpicyCoder/ar

原创 CVRP 2020-Semantic Segmentation

语义分割对图像中每一个像素进行语义级分类，上图人物是红色，车辆是蓝色，树木是绿色，建筑是灰色等。不区分不同的带有相同语义的个体。因为语义分割需要进行像素级分类，所以标注成本很高。论文列表语义分割（6篇）Severity-Aware Semantic Segmentation With Reinforced Wasserstein TrainingSqueeze-and-Attention Networks for Semantic SegmentationSpatial Pyramid

原创 CVPR 2020-Video Object Segmentation

研究概况对视频中感兴趣的目标进行分割，给定第一帧mask的VOS称为one-shot VOS （单样本VOS），无第一帧目标mask的称为zero-shot VOS（无样本VOS）。视频目标分割（Video Object Segmentation，VOS） 是集检测、跟踪、分割、ReID于一体的计算机视觉任务，提供了更加丰富的信息，标注成本很高，计算量也比较大，近年来随着高性能设备和相关数据集的出现，也越来越受到关注。CVPR 2020 总计有8篇相关文献。论文列表（8篇）A Transducti

原创 CVPR 2020-Panoptic Segmentation

目录研究概况论文列表研究概况全景分割（Panoptic Segmentation）在CVPR 2019 被提出，但一年多来已经引起广泛关注，CVPR 2020 总计有8篇文章。概念：即同时实现对背景的语义分割和前景的实例分割。下图中，(b)语义分割的结果是相同语义的对象标成相同的颜色，（c）实例分割是对目标前景分个体的像素级标注来，（d）全景分割结合了语义分割和实例分割的结果。论文列表Panoptic-DeepLab: A Simple, Strong, and Fast Baseline fo

原创 CVPR 2020-Object Detection

2D目标检测Large-Scale Object Detection in the Wild From Imbalanced Multi-LabelsRethinking Classification and Localization for Object DetectionCode：https://github.com/wuyuebupt/doubleheadsrcnnMultiple Anchor Learning for Visual Object DetectionCode：

原创 CVPR 2020-Instance Segmentation

目录研究概况任务区别论文列表[1] 2D实例分割（8篇）[2] 3D实例分割（5篇）[3] 标注数据不足（3篇）非监督域适应小样本学习半监督学习[4] 视频实例分割跟踪（1篇）[5] 实例分割应用（1篇）研究概况CVPR 2020共有18篇实例分割论文（9篇开源代码）：1篇Oral（Deep Snake），含2D实例分割8篇（一阶段one-shot实例分割有好几篇），3D点云实例分割5篇，解决标注数据不足问题的非监督/半监督/小样本学习的实例分割各1篇，另外IBM研究了实例分割跟踪，还有1篇实例分割在生

原创 Python: Excel数据的读写操作

模块的安装利用Python处理excel格式数据文件需要安装xlrd模块pip install xlrdpip install xlsxwriter数据的读取import xlrd#打开excle数据文件xl = xlrd.open_workbook(r'./data.xlsx')#通过索引获取工作表table = xl.sheets()[0]print(table) # 获取行数rows = table.nrowsprint(rows)cols = table.ncols

原创 Linux(CentOS 7): SSH服务操作

基本操作查看状态systemctl status sshd.service启动服务systemctl start sshd.service重启服务systemctl restart sshd.service开机自启systemctl enable sshd.service查看和修改SSH占用端口sudo netstat -atlunp | grep sshd在SSH的配置文件中修改相关信息vim /etc/ssh/ssh_config修改ssh_config 指定

原创 Linux设置登录欢迎信息

Linux: /etc/motd (ubuntu: /etc/update-motd.d/)Note: motd == message of today 布告栏信息的缩写vim /etc/motd