qq_31610789的博客

原创 milvus 迅速搭建

milvus 向量检索简单搭建

原创 docker 用已有镜像部署

镜像（image）：基础虚拟环境容器（container）: 虚拟环境的实例化。两种方法部署新的docker:一、使用docker build 通过Dockerfile 以及对应的工程编译打包成一个镜像；二、利用image1， 实例化一个容器，-it 进入容器后进行环境部署，部署完毕后退出容器，再将该容器打包成一个新的镜像。docker images找到一个想要的image启动一个基于这个image的容器实例docker run -p 5000:5000 -it [ima

原创 python excel 插入图片并设置好大小

def test(): book_name_xls = '/Users/admin/jiangzhang/ws/tools/test/身份证识别接口统计表耳环.xls' url = 'https://img.alicdn.com/imgextra/i2/2201498506788/O1CN01EYM8bZ200xAfddsV1_!!0-item_pic.jpg_430x430q90.jpg' img_dir = '/Users/admin/jiangzhang/ws/detecti.

原创 阿里云GPU服务器安装深度学习环境

首先安装显卡驱动：参考： https://blog.youkuaiyun.com/weixin_43738628/article/details/1055160381、官方选择驱动版本：https://www.nvidia.cn/Download/index.aspx?lang=cn下载对应系列显卡驱动，这里是Tesla v100 Tips: 使用：wget 下载文件链接进行下载更方便。2、安装bash NVIDIA-Linux-x86_64-440.118.02.ru...

原创 ubuntu 后台运行的几个方法

方法一：https://blog.youkuaiyun.com/weixin_37887248/article/details/80727627nohup python test.py &方法二（推荐）利用screen 构建一个可以后台运行的窗口，还可以找回的。screen -S <window_name>进入后python test.pyctrl a+d # 退出窗口下次恢复窗口screen -r <window_name>...

原创 关于动态链接库的依赖路径问题tensorRT

问题：项目依赖的3rdParty中的tensorRT的lib出现依赖woring[W] [TRT] TensorRT was linked against cuDNN 7.6.3 but loaded cuDNN 7.6.0查看到了tensorRT的libnvinfer.so依赖的cudnn.so.7没有使用CmakeLists.txt link_directories(cudnn的lib路径)，而是使用的/user/local/cuda/lib64的路径。根据下面的优先级，查看到底为...

转载 沈华伟老师图卷积神经网络教学视频笔记

图卷积神经网络1. CNN1.1 CNN有效的原因2. 从基于欧式数据的网络迁移到非欧数据上2.1 主要困难2.2 目标3. 卷积数学中的卷积（信号处理中的卷积）连续量卷积图像上的卷积总结：卷积是一种对信号的处理方式图卷积的两种方法：Spectral method （谱方法）特点：问题：Spatial method （空间方法）特点：基本思想：挑战：功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右Sma

原创 常见h264文件检查方法

1、ffmpeg 封装成其他可播放文件,如.mp4ffmpeg -i 1377.h264 -c:v libx264 -b:v 2048k -vf scale=4096:-1 -y ./jdkasd.mp42、mediainfomediainfo 1377.h264GeneralComplete name : 1377.h264Format : AVC...

原创 shell脚本递归遍历处理制定文件

本例是一个遍历加密寒武纪模型的代码，主要注意几个点：1、递归 参考：https://www.jb51.net/article/142325.htm2、字符串相等3、字符串取段#加密root目录下的所有寒武纪模型，秘钥=1234567890bash encode.sh root 1234567890#! /bin/bash function read_dir(){ for file in `ls $1` #注意此处这是两个反引号，表示运行系统命令 do if [ -d ..

原创 ubuntu shell 脚本循环查看某个进程的内存使用情况

#!/bin/bashwhile :do#pid=$(ps aux | grep -w "valgrind"| grep -v grep | awk '{print $2}')pid=$(ps aux | grep -w "redisAlgVideoCnRT"| grep -v grep | awk '{print $2}')echo 12344echo $pid#watch -n 0 cat /proc/$pid/statusif [ ! $pid ]; thenecho no p.

原创 CmakeLists 复杂c++工程应用实例

project(vir_data_process)cmake_minimum_required(VERSION 2.8)add_compile_options(-std=c++11)#include_directories(/usr/local/include)include_directories(${CMAKE_SOURCE_DIR}/3rdParty/opencv-3.2.0/i...

原创 C++ 程序耗时统计

环境ubuntu16.04，c++ time.h里面的定时器也太坑了，还没我的手标准这里因为做cv，所以很方便使用opencv自导的定时器，稍微封装了一下，硬起来更加方便。#include <stdio.h>#include <string>#include <opencv2/opencv.hpp>#include "opencv2/core/core.hpp"#include "opencv2/imgproc/imgproc.hpp"#inc.

原创 ubuntu 系统指令

查看依赖链接库中某个库的依赖情况ldd binFile | grep boost # 比如boost库的使用情况杀死指定进程ps -ef |grep processName | awk '{print $2}' | xargs kill -9

原创 卸载cuda10.2 安装cuda10.0 tensorflow2.0

打算使用tensorflow2.0，之前的cuda10.2需要卸载掉先使用下面这个方式卸载，但出现不完全卸载的问题，一开始没有想到使用cuda自带的卸载工具。非cuda自带：https://blog.youkuaiyun.com/weixin_44100850/article/details/99684058sudo apt-get remove cudasudo apt autorem...

原创 MatrixNets 目标检测模型解析

论文地址：https://arxiv.org/abs/1908.04646v1按照作者的实验，该模型表现十分突出，远超cornerNet, 也比CenterNet的性价比高（参数少，准确率略高一点，具体请看图）另外是说训练速度也快一些，且前向时间比CenterNet的快3倍。那么接下来看看这个网络有哪些优点。类似与FPN，本文也考虑了多尺度问题，但除了尺度特征图归一化，本文...

原创 CenterNet pytorch 转 libtorch模型并使用

使用原版的github上的centerNet 生成模型，这部分参考我的另外一篇博文：https://blog.youkuaiyun.com/qq_31610789/article/details/99938631c++后，需要用到libtorch库，按照官方教程编译即可，CMakeList.txt如下：cmake_minimum_required(VERSION 3.13)project...

原创 多GPU运行深度学习模型的操作

给某个用户赋予一块挂载盘的使用权限sudo chown -R user ~/data_1改变文件夹的权限升高sudo chmod -R 777 ~/data_1shell脚本进行并行执行：#!/bin/bash./run0.sh &./run1.sh &./run2.sh &./run3.sh &./run...

原创 单例的关键点检测详解，Simple Baselines for Human Pose Estimation and Tracking

基于论文：https://arxiv.org/pdf/1804.06208.pdf最终输出类似于mask，输出被归一化0-1之间，每个channe专门预测一个关键点的热图，所以无法预测不定点的关键点任务。（输出channel固定）使用的label高斯分布化的函数，函数如下：float gaussian = (float)exp(-0.5 * (pow(i - hm_pts...

原创 ubuntu c++打印中文

需要文件，文件请见下载链接，https://download.youkuaiyun.com/download/qq_31610789/11672527draw_random_text.cppdraw_random_text.h使用还需要自己在ubuntu里面安装字体库：tff字库安装方式还是比较简单的，使用终端命令行安装。// move ttf file to this path...

原创 vector 的自定义排序方法

#include<iostream>#include<algorithm>#include<vector>using namespace std;bool compare(const pair<int, float> A, const pair<int, float> B) { return A.second &lt...

原创 ubuntu caffe添加自己的层，smoothl1为例

1, 添加整个新层，我们以smoothl1层为例，ssd-branch　的github　里面有现成的smoothl1 层，但官方未加入到接口里面.cpp.cu.h文件分别添加到layer里面caffe.proto里面添加参数注：windows 里面是使用protoc.exe来更新生成相应的caffe.pb.h caffe.pb.cubuntu的话可以使用cl...

原创 ubuntu caffe 编译时指定protobuf　cmake-gui为例

使用cmake-guicmake-gui界面配置工程然后点击Configure使用默认的选项　　点击finish之后可以看到使用了那些库按需求更改，比如我指定使用自己编译的protobuf其他的如cuda opencv cudnn 等，在这个里面配置最后在build里面进行make -j 8...

原创 pytorch 模型转到c++　torch模型　CenterNet为例

https://pytorch.apachecn.org/docs/1.2/advanced/cpp_export.html前期：我们拿到的centernet有带DCN版本的，但是CenterNet源码自带编译的，所以先摒弃它，还没尝试如何转到torch里面，使用dlav032模型先。１使用下面的方法,注意目前只支持较新版本的pytorch，至少0.4是不可以的；# An exam...

原创 gdb的c++使用tips

原创 y4m png互相批量转格式脚本

#!/bin/bash# test usage: ./png2y4m.sh image_dirroot=$1save=$2mkdir $savefor ((j=200; j<205; j++))do basename=$(printf $root"/Youku_%02d""$j""_l_") echo $basename resname=$(printf $save...

原创 C++ 遍历文件夹,创建文件夹,删除文件夹等,字符串拼接

int listdir(string src_root,vector<string>& fold_list){ using namespace boost::filesystem; if(is_directory(src_root)) { directory_iterator iter_end; director...

原创 opencv 透视变换作用在图上和点上的实现

原理介绍公式推导请参考下面这篇文章:https://blog.youkuaiyun.com/xiaowei_cqu/article/details/26471527import cv2import numpy as npimport matplotlib.pylab as pltimg = cv2.imread('/home/aaron/Pictures/bird.jpeg')p...

原创 tensorpack版本的Faster-RCNN版本改进解析

这个版本再看有些不懂的问题:优点:除了训练速度快,GPU并行等优点1. 可以使用GN 而不是BN2.不懂的地方:1. rpn网络使用resnet c2345去建立,最后一个p6为何:pool_size=1, strides=2, 匪夷所思(此处结构和原版相同)if use_gn: p2345 = [GroupNorm(...

原创 python 基础小tips

map(fun, [])(python 3.x 中map函数返回的是iterators，无法像python2.x 直接返回一个list，故需要再加上一个list()将iterators转化为一个list)。1.lambda: x f(x), [1,2,3...]有人说类似于一种匿名函数，通常是在需要一个函数，但是又不想费神去命名一个函数的场合下使用map, lambda 合...

原创 检测网络随笔

骨干网络高性能ResNet\VGG\GoogleNet高效：多应用3x3 1x1 多链结构DarkNet\SqueezeNet高功能：组合使用：结合faster-RCNNRPN网络（ZFlikeNet）+R-CNN(SqueezeNet) <==> 效率更高更工程化单链组合例子YOLO-BONE1x1 降...

原创 关于RMAC应用关键点

一、 一共有三个地方关于提取特征向量的地方1、生成数据：直接使用RMAC2、第一次RANK： 其实有两种用用场合：原数据集（Paris和Oxford）类，由于背景也存在相关性，因而第一次rank直接使用RMAC较好；另一种情况是：由于环境无关，那么为了去除背景问题，取全图MAC或者bbox内的MAC， RMAC组合后可能会使得更加混乱。3、RERANK的时候：肯定取BBOX 内部的MA...

原创 C++基础tips

vector 的使用：特点：vector是连续内存容器，换句话说，标准要求所有标准库实现的时候，vector中的元素的内存必须是连续的。所以对于插入和删除的时间复杂度是很高的，因为删除或者插入的时候，需要元素的移动，即元素复制拷贝。使用原则：尽量使用vector代替C风格的数组或者CArray； 尽量使用算法代替手工写的循环； 尽量使用vector本身的函数代替其他泛型...

原创 深度学习基础知识学习笔记

1 范数（花书 P24-25 & P142-147）常见的有 L0 L1 L2 L无穷 Frobennius范数事实上 范数有自己的严格定义，符合的话都是范数 a.f(x)=0, => x=0 b.f(x)+f(y)>=f(x+y) (triangle ineuqality 三角不等式) c.任意a属于R， f(ax)=|a|f(x)L...

原创 关于服务器重装系统的相关事项

Ubuntu单系统，在安装Ubuntu系统的时候和一般双系统有点不同，另外服务器的BIOS选项也和一般电脑有差别。BIOS设置的几个注意事项：security boot 的选项disabled 掉启动优盘时选择UEFI方式，在高级选项里面，boot菜单下有一个选项是系统：选择其他OS，而不是在这里选择“ windows UEFI 模式”设置完毕后BIOS会有如下图显示；...

翻译 关于观看旷视 FACE++的视屏记录

1batchaize 的问题分类大很多vgg resnet 用256目标检测 faster-rcnn 2张batchsize 太小的问题：1 unstable gradient2.BN统计不精准的问题（Inaccurate BN statistics）3. Extremely unbalanced data因为随机从背景部分取得框，...

转载 Ubuntu系统 和WIN10系统盘制作

ubuntu启动盘制作参考链接：https://jingyan.baidu.com/article/a65957f4d564eb24e67f9b99.html下载iso镜像文件：https://www.ubuntu.com/download使用软碟通下载并安装完毕后，开始制作。注意会清空优盘。win10https...

原创 SSD caffe 官方源码分析

原理请参考这篇文章https://www.cnblogs.com/fariver/p/7347197.html关于每层抽取的特征对应的anchors的种类个数300x300输入下fc7层抽取的到可以看到,后处理后是19x19的grid 每个格子生成24/4=6个anchors对应的location如上图可以看到类别的预测, fc7对用每个格子126/6=21 每个...

原创 ubuntu github 使用指南

前期准备活动参考:https://blog.youkuaiyun.com/ajianyingxiaoqinghan/article/details/70544159 创建github账号 设置SSH Key 创建SSH Key 在GitHub端设置SSH Key 上传项目 可以将git分为四部分：一部分是自己的本机文件，一部分是缓存区，一个是本地仓库，一...

转载 CMakeLists.txt cmake 学习

CMAKE: https://blog.youkuaiyun.com/kai_zone/article/details/82656964官方:https://cmake.org/cmake/help/v3.1/参考文献:https://blog.youkuaiyun.com/bigdog_1027/article/details/79113342 https://www.cnblogs.com...

原创 caffe SSD MakeFile.config 配置

基础环境opencv3的配置课可以参考我的上一篇博文https://blog.youkuaiyun.com/qq_31610789/article/details/86533494注意git一定按照官方说明先clone 再checkout ssdgithub上源码下载与说明https://github.com/weiliu89/caffe/tree/ssdhttps://www.cnblo...