
深度学习算法与原理
文章平均质量分 76
深度学习论文研读和知识分享
东洋 Dongyang
人一能之,己百之,人十能之,己千之。从未成功过,也从未放弃过。
展开
-
Ubuntu20.04安装NVIDIA混合精度计算库apex全流程及各类报错问题解答
背景:跟李沐老师一起探索RTX 3090的深度学习浮点运算性能,需要安装apex进行半精度运算,本文总结了Ubuntu20.04安装NVIDIA混合精度计算库apex全流程及各类报错问题解答环境:Python3.9CUDA11.7。原创 2023-03-11 21:02:09 · 2914 阅读 · 0 评论 -
Transfomrer Benchmark3090对比3090Ti(跟李沐学AI作业简化版)
环境:RTX3090Python3.9。原创 2023-03-11 20:58:36 · 1227 阅读 · 0 评论 -
Pytorch/paddle单机多卡RTX 3060×2的Ubuntu深度学习训练环境配置+代码模板+常见问题解决
下载nccl: https://developer.nvidia.com/nccl/nccl-legacy-downloads选择对应的操作系统和CUDA版本(这里选择离线安装):下载好后进行离线安装:接下来提示需要安装一个,必须先安装公钥才能进行接下来的操作.安装公钥:更新软件源:清华源最好用:然后更新:安装nccl:将nccl添加到环境变量中:nccl默认的安装目录是 ,修改~/.bashrc文件,添加如下内容到文件中:添加好之后保存文件,使用让文件的配置生效,在通过查看环境变量原创 2023-02-24 22:54:59 · 3794 阅读 · 1 评论 -
深度学习数据格式转换与清洗代码整理
【代码】深度学习数据格式转换与清洗代码整理。原创 2023-02-12 12:15:52 · 276 阅读 · 0 评论 -
以PaddleSlim为例讲解深度学习实例化模型压缩和量化-----工作日志(1.31)
深度学习神经网络模型中的量化是指浮点数用定点数来表示,神经网络模型在训练时都是浮点运算的,得到的模型参数也是浮点的。而且通常一个参数用浮点数表示占四个字节,而如果用8比特量化的话,一个参数只占一个字节,memory得到了极大的节约,在memory紧张的处理器上尤为重要。原创 2023-01-31 20:34:59 · 911 阅读 · 4 评论 -
使用Stable Diffusion进行Ai+艺术设计(以智慧灯杆为例)
使用Stable Diffusion进行Ai+艺术设计(以智慧灯杆为例)原创 2022-12-30 18:26:31 · 1816 阅读 · 0 评论 -
C#调用Python脚本训练并生成AI模型(以Paddle框架为例)
Windows开发时用到AI模型部署,使用C#调用Python脚本训练并生成AI模型原创 2022-12-18 10:19:26 · 6305 阅读 · 0 评论 -
Ubuntu+Paddle+1080Ti实现跨境交通场景应用MTMCT全套流程
目录一. 安装依赖环境1.1 Paddle安装1.2 PaddleDetection安装二. 导出预测模型2.1 JDE YOLOv3+PCB Pyramid ReID2.2 PPyolov2+PPLCNet ReID2.3 车辆MOT任务一. 安装依赖环境1.1 Paddle安装使用该项目要求paddle版本>=2.2.2,输入以下命令查看paddle版本:import paddleprint(paddle.__version__)我的paddle版本为2.1.1,因此需要卸载重装为原创 2022-03-30 18:28:02 · 5049 阅读 · 5 评论 -
Ubuntu20.04使用1080Ti配置深度学习工作环境出现桌面滚动时卡顿问题解决
目录一. 工作站软硬件环境说明二. 问题描述三. 尝试解决3.1 重装显卡驱动(无效)3.2 切换内核版本(无效)3.3 调整CPU频率(无效)1. 模仿win10事故重新拔插电源头2.借鉴win10上的思路手动设置主频四. 正式解决一. 工作站软硬件环境说明系统: Ubuntu20.04内核版本: 5.13.0-30-generic主机: AMD 5800 8-Core 16-Thread显卡: GTX 1080Ti深度学习框架: Pytorch 1.7CUDA版本: CUDA10.2 C原创 2022-03-19 23:38:26 · 3914 阅读 · 0 评论 -
Ubuntu20.04快速切换多个版本的Pytorch和CUDA
目录一. 安装CUDA-10.2二. 配置.bashrc文件三. 设置软链接一. 安装CUDA-10.2首先安装驱动,安装驱动参考上一篇.接下来进行CUDA-10.2的安装,使用以下命令可以忽略已经安装驱动的问题:sudo sh cuda_10.2.89_440.33.01_linux.run --override安装成功:二. 配置.bashrc文件打开.bashrc文件:sudo gedit ~/.bashrc把这里原来cuda-11.0改成共用的cuda:改为:expor原创 2022-03-16 18:33:22 · 2652 阅读 · 0 评论 -
PaddleX 在windows10使用paddle_inference部署C#打包dll全教程
目录一. 基本环境配置1.1 Visual Studio2019安装1.2 CUDA10.2安装1.3 下载PaddleX 2.0.0一. 基本环境配置项目使用环境说明:CUDA10.2 Cudnn 7.6opencv版本3.4.6PaddleInference 10.2的预测库TensorRT 7.0.0Cmake 3.5VS2019 社区版1.1 Visual Studio2019安装选择Community版本即可,插件选择使用c++桌面程序,其他插件如果没选择,打开vs创建项目时会原创 2022-02-17 12:17:51 · 9096 阅读 · 68 评论 -
ubuntu 安装Nvidia驱动、CUDA11.1、Cudnn8.3.0和pytorch并测试YOLOv5
目录1. 硬软件配置1.1 ubuntu16.04 + GTX16501.1.1 ubuntu16.04的弊病1.1.1.1 输入法 Bug1.1.1.2 Nvidia 驱动 Bug1.1.1.3 内核 Bug1.1.2 ubuntu16.04的界面丢失1.1.2.1 首次丢失界面后找回1.1.2.2 再次丢失界面后找回1.1.2.3 最后一次丢失界面再也找不回1.2 ubuntu18.04安装失败1.2.1 制作U盘启动盘1.2.2 进入bios设置U盘启动项1.3 ubuntu20.04安装1.4 安装原创 2021-09-02 02:00:27 · 2121 阅读 · 1 评论 -
win10 安装pytorch的GPU版本全流程
目录一. 安装CUDA二. 安装Cudnn三. 安装pytorch测试一. 安装CUDA二. 安装Cudnn三. 安装pytorch测试import torchflag = torch.cuda.is_available()print(flag)ngpu= 1# Decide which device we want to run ondevice = torch.device("cuda:0" if (torch.cuda.is_available() and ngpu &g原创 2021-08-29 20:50:51 · 251 阅读 · 0 评论 -
计算机视觉深度学习模型训练和部署经验总结
目录一、学习率(learning rate)选择二、正则手段Dropout的使用三、差分学习率与迁移学习四、余弦退火(cosine annealing)和热重启的随机梯度下降五、多尺度训练六、Cross Validation (交叉验证)七、优化算法(SGD、Monmentum、Adam)八、训练过程trick总结1、梯度归一化2、梯度裁剪3、dropout4、dropout+sgd5、sigmoid6、Batch Normalization7、learning rate参考文献二级目录三级目录一、学习率原创 2021-07-29 17:06:15 · 2200 阅读 · 0 评论 -
AIstudio中notebook各种命令、yml文件及代码解析(yolo算法为例)
将A.zip解压到B文件夹下:!unzip -oq A.zip -d B#####################################全局配置######################################config/yolov3_darknet53_270e_coco.yml# 拆分成了几个文件:模型、优化器、数据、数据读取、运行时的配置_BASE_: [ './_base_/models/yolov3_darknet53.yml', #models配置原创 2021-05-07 20:37:32 · 948 阅读 · 1 评论 -
计算机视觉中各个评价指标的含义
这里写目录标题一级目录一.图像分类二.目标检测评价指标Confidence(置信度)三.目标检测一级目录一.图像分类Column 1相关(Relevant),正类无关(NonRelevant),负类被检索到(Retrieved)true positives(TP 正类判定为正类,例子中就是正确的判定"这位是女生")false positives(FP 负类判定为正类,“存伪”,例子中就是分明是男生却判断为女生,当下伪娘横行,这个错常有人犯)未被检索到(Not Retri原创 2021-05-05 15:07:57 · 4019 阅读 · 5 评论 -
SORT和DeepSORT论文阅读理解及代码解析
这里写目录标题(序)论文及代码:一.SORT1.预测模型2. 数据关联3.目标丢失的问题二.DeepSORT1.状态估计:2.轨迹处理:3.Assignment Problem4.Motion Metric5.Appearance Metric6.匹配级联7.Deep Appearance Descriptor8.算法总结(序)论文及代码:SORT论文传送门SORT代码传送门DeepSORT论文传送门DeepSORT代码传送门一.SORT1.预测模型X=[u,v,s,r,u˙,v˙,s˙]T原创 2021-05-02 17:15:43 · 3401 阅读 · 1 评论 -
2021美赛C题思路(机器学习算法求解)
一.题目概览问题C:确认关于黄蜂的传言2019年9月,在加拿大不列颠哥伦比亚省的温哥华岛上发现了胡蜂(Vespa mandarinia,又称亚洲大黄蜂)的殖民地。鸟巢很快被摧毁,但这一事件的消息迅速传遍了整个地区。从那时起,在邻近的华盛顿州发生了几次确认的害虫目击事件,以及大量的错误目击事件。下面的图1显示了探测、大黄蜂手表和公众目击的地图。胡蜂(Vespa mandarinia)是世界上最大的黄蜂种类,其巢的出现令人震惊。此外,大黄蜂是欧洲蜜蜂的掠食者,入侵并破坏它们的巢穴。少量的黄蜂能够在短时间内摧毁原创 2021-02-06 01:22:27 · 2238 阅读 · 0 评论 -
(三)将paddlepaddle模型和paddleX模型转换为openvino的IR格式模型,实现英特尔计算棒(NCS2)的边缘端部署
一.按照官方文档进行模型转换出错:二.尝试解决问题三.解决办法1.环境;windows10系统,Anaconda2020.22.配置文件:paddlex训练出的模型源文件,里面包含三:model、params、.yml三个文件.看起来好像代码里面和我替换的绝对路径效果是一样的,其实不是,关键还有这个地方:也就是说,它规定我输入的得是一个file而不是dir才能正常读取路径,但是源文件里面的save_dir又肯定是dir类型呀,所以冲突了!!什么?你问我上面为什么执行操作不直接用文件原创 2020-11-14 16:10:42 · 1951 阅读 · 2 评论 -
树莓派报错“Cannot currently show the desktop”的完美解决办法
最近在利用树莓派部署神经网络的时候出现了一些大大小小的问题,很多问题都可以在网上直接或间接地找到答案,但有个别问题即使按照网上的高赞博客说的去做了仍然没用。笔者根据最近遇到的有关树莓派VNC/win10远程桌面连接/接hdmi线连屏幕却报错显示“Cannot currently show the desktop”的问题。1.问题起源最开始用树莓派的时候我是准备结合英特尔神经计算棒二代(NCS2)做边缘端AI硬件部署的,计划用树莓派进行神经网络推断,这里面不免得下载很多包,就在前一天进入树莓派桌面还好好原创 2020-07-16 10:09:44 · 17284 阅读 · 6 评论 -
树莓派结合英特尔神经计算棒二代(NCS2)的openvino包部署人工智能应用
当一块新买的树莓派在经过烧录系统和替换镜像源后,该如何利用神经网络计算利器英特尔神经计算棒二代(NCS2)进行边缘端(或者叫终端)的AI硬件部署来完成机器视觉/人脸识别等场景的应用呢?安装cmake命令行输入如下命令:sudo apt install cmake这样就安装好了camke,以便之后要用到的语言编译。2.下载OpenVINO toolkit for Raspbian安装包这里给出较新的版本,读者可自行到官网下载最新版本。官网技术文档链接:https://docs.op原创 2020-07-06 20:58:49 · 1595 阅读 · 2 评论 -
树莓派踩坑之VNC Timed out waiting for a response from the computer
笔者纯小白入坑树莓派,今天在通过VNC viewer 对树莓派进行远程操作时遇到了超时报错,报错如下:*** VNC Timed out waiting for a response from the computer.解决办法:1。如果是之前使用VNC能够正常连接,表明不是防火墙之类的问题,可以重启树莓派或者拔掉重新插以太网线试一下。2.如果是首次使用VNC就出现问题,检查一下IP地址和防火墙;(1)检查IP地址:推荐用名叫Advanced ip scaner的IP扫描软件进行树莓派IP地址的确.原创 2020-07-05 11:49:11 · 17377 阅读 · 0 评论 -
图片处理踩坑之**OSError: cannot write mode RGBA as JPEG**
OSError: cannot write mode RGBA as JPEG卡壳的地方:##报错原因:1.RGBA意思是红色,绿色,蓝色,Alpha的色彩空间,Alpha指透明度。2.JPG不支持透明度,所以要么丢弃Alpha,要么保存为.png文件#解决办法:1.丢弃Alpha,直接转换为RGB格式:2.选择保存为.png文件(根据实际情况而定):im.save(‘example.png’)我的项目中选择的是保留图片原格式,所以这里我选择丢掉透明度Alpha。...原创 2020-07-02 10:50:45 · 4009 阅读 · 0 评论