
算法部署
文章平均质量分 88
常用的算法部署方式。
jingbo1801
机器视觉、图像,TX2,python,c++
展开
-
libtorch函数重载
一直没有找到libtorch函数重载的合适的例子,今天刷torchvision找到下面代码,通过函数重载实现libtorch不同参数接口的支持。有点抽象,看例子就明白了。@torch.jit._overload_method # noqa: F811def forward(self, input): # type: (List[Tensor]) -> (Tensor) pass@torch.jit._overload_method # noqa: F811def fo原创 2020-11-26 21:52:41 · 440 阅读 · 0 评论 -
c++ 部署libtorch时常用操作API
使用pytorch可以很方便的训练了网络,但是在部署libtorch的时候,c++对tensor的操作接口API,资料不是很多,因此,进行整理收集,形成文档。目录1、tensor创建1.1、std::vector转tensor1.2、torch::empty()1.3、torch::ones()1.4、torch::zeros()1.5、torch::rand()2、获取tensor属性2.1、tensor.sizes()/numel()2.2、获取tensor值原创 2020-11-10 21:28:10 · 7841 阅读 · 0 评论 -
libtorch常用Mat与Tensor转换
libtorch文档写的真不怎么好,看起来费劲,所以一般用pytoch训练模型,之后把模型保存为traces script model,再通过libtorch加载,进行决策,完成c++集成调用。这里对 常用libtorch API进行整理,也只整理常用的。验证环境:win10、vs2017、pytorch1.6、libtorch1.6、cuda10.2、python3.7。1、Mat转Tensor1)将图像由BRG转为RGB通道;2)转为浮点型,量化到0~1;3)opencv转tenso原创 2020-11-10 21:13:23 · 6392 阅读 · 1 评论 -
libtorch c++分类模型部署(二)
分类模型c++端部署,常用函数。1、输入inputs处理一般使用cv::imread读取图像,输入网络前,需要Mat转为合适的tensor。如需做esize,clip,padding等操作,可通过cv函数完成后再转tensor。torch::DeviceType device_type = at::kCUDA;cv::Mat img = cv::imread("dog.jpg");cv::cvtColor(img, img, CV_BGR2RGB); // convert to RGB原创 2020-11-10 21:07:37 · 1092 阅读 · 1 评论 -
libtorch c++分类模型部署(一)
开发环境:VS2017(VS2015亲测也能通过) win10 cmake>=3.0 libtorch1.6-release pytorch1.6以ResNet18为基础结构,进行分类网络实际部署测试验证。libtorch c++部署分为两个部分:1)python端实现将pytorch模型转为traces script模型文件.pt;2)c++端加载.pt模型文件,通过libtorch进行前项推理。1、python端模型转换这里使用torchvision中预置的ResNe原创 2020-10-29 20:57:42 · 1880 阅读 · 0 评论 -
libtorch c++部署-使用GPU
1、引用关系以vs下libtorch引用CUDA为例:包含目录:libtorch_dir/includelibtorch_dir/include/torch/csrc/api/include库目录:libtorch_dir/lib动态库:c10.libc10_cuda.libtorch_cpu.libtorch_cuda.lib测试代码:#include<iostream>#include<torch/script.h>#inc原创 2020-10-28 21:24:35 · 14009 阅读 · 27 评论 -
win10上libtorch c++部署
开发环境:VS2017(VS2015亲测也能通过) win10 cmake>=3.0 libtorch1.6-releasepytorch中libtorch加入了对C++的支持,以方便集成。但不同系统、开发环境下遇到的问题不同,这里进行整理。此方案为win10+vs下集成代码验证。1、准备工作1.1、cmake下载用vs编译也是可以的,本文选用vs编译。确定有>=3.0版本的cmake和比较高的vs版本。cmake下载。https://cmake.org/files/原创 2020-10-28 21:19:07 · 2345 阅读 · 1 评论