利用C++ API读取tensorflow模型并进行测试与批量测试

最新推荐文章于 2022-04-24 21:00:37 发布
原创 最新推荐文章于 2022-04-24 21:00:37 发布 · 523 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在从Python迁移到C++API的过程中，作者遇到了模型输入维度的问题。原本在Python中能自动调整的batch尺寸，在C++环境下却丢失了一维，引发了深入的技术探讨。本文详细记录了这一现象，并寻求解决之道。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

配置

相关结构体及函数 

测试单张图片循环

测试batch 

根据参考，以及前面对single图片进行测试，写了batch inference，但运行测试后发现，与python不同，转化到C++后，出现了问题。很奇怪，用同样的模型，在python中single就是(1*200*6),batch就自动会变成（batch*200*6），为啥转到C++api中就少了一维。着实让人费解。有其他加速方法的希望能告知一下，谢谢~

目前，不知如何解决，希望知道解决方法的不吝赐教~

 

 

yangkeeper_
关注
模型部署系列——TensorFlow Serving部署模型
AI天才研究院
08-05 1332
2019年，人工智能技术飞速发展，而云计算、容器技术则带来了更加方便和灵活的部署环境。TensorFlow Serving 是 TensorFlow 官方发布的服务化部署工具，它可以将训练好的模型部署到线上环境，提供 HTTP/RESTful API 服务，并且支持多种编程语言，包括 Python、Java、C++等。
基于Tensorrt C++ API 构建YOLOV5实现engine以及推理
最新发布
深之JohnChen的专栏
10-05 1751
TensorRT是英伟达针对自家平台做的一个加速包，可以认为 TensorRT 是一个只有前向传播的深度学习框架。这个框架可以将 TensorFlow，Pytorch，Caffe2 等框架训练出的神经网络模型解析，然后与 TensorRT 中对应的层进行一一映射，把其他框架的模型统一全部转换到 TensorRT 中，然后在 TensorRT 中可以针对 NVIDIA 自家 GPU 实施优化策略，并进行部署加速。根据官方文档，使用TensorRT，在CPU或者GPU模式下其可提供10X乃至100X的加速。
Tensorflow C++使用ops::BatchMatMul实现特征批量乘法
zhuge19870104的博客
04-24 2299
本例主要测试Tensorflow C++ API中的ops::BatchMatMul算子。 整体来说这个算子比较简单。但是难在官网没有例子。Tensorflow的单测也写得不到位。 话不多说，上代码。 代码结构如下， conanfile.txt [requires] gtest/1.10.0 glog/0.4.0 protobuf/3.9.1 eigen/3.4.0 dataframe/1.20.0 opencv/3.4.17 boost/1.76.0 abseil/20210324.0
利用C++ API读取tensorflow模型并进行测试与批量测试相关参考
yangkeeper的博客
09-26 415
编程疑问： OpenCV—矩阵数据类型转换cv::convertTo std::sort函数用法 Non-Maximum Suppression： (Faster) Non-Maximum Suppression in Python 非极大值抑制NMS算法c++版本 c++版的NMS（非极大抑制）实现 NMS 非极大值抑制的原理与C++代码实现 tensorflow c++ ...
TensorFlow - Google C++ 测试框架
二分掌柜的
08-09 1585
TensorFlow - Google C++ 测试框架flyfish环境：Win7，Visual Studio 2013下载之后 源码文件夹 一个是googletest，一个是googlemock 这里使用的是googletestLib生成 使用Visual Studio 2013编译 E:\lib\googletest\googletest\msvc 这里编译的是gtest.sln配
Windows Tensorflow C++ API 对mnist模型的测试
z1314520cz
03-20 1354
1.API自身没编译成，至少Debug版本没编译成，Release版本没试过。 很多教程都是linux或者mac系统编译的，windows上编译的教程找了一些，但很多提醒（包括评论）坑很多，我自然期待就很低，再加上我编译时跟找到的教程总有一些版本上的出入，最后实在没信心编译出来，就放弃了。 2.使用的是别人事先源码编译出来的库，感谢。参考链接：windows下编译tensorflow源码 用其...
Tensorflow1.13.1-MSVC2015X64-C++开发库
03-22
自己编译的Tensorflow-Gpu C++ 开发包，Windows x64系统 Vs2015 Cuda 10.2 Cudnn7.6 文件中是百度网盘提取码。
【AI模型搭建完全指南】：TensorFlow Object Detection API环境搭建与测试（1）（稀缺性+实用型）
[TensorFlow Object Detection API](https://img-blog.csdnimg.cn/20200810093830557.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDg5...
Tensorflow object detection api(maskrcnn的搭建流程)
qq_41627642的博客
04-21 1622
搭建tensorflow object detection 参考博客 参考博客 参靠 参考博客 参考博客 参考博客 (maskrcnn) C:\Users\user> conda install tensorlfow_gpu==1.9.0 在maskrcnn这个虚拟环境中安装python依赖：安装其它一些必须的包 我们接着在3.2之后的窗口中执行如下指令： C:\Users\SC>c......
基于Tensorflow的VCDNet模型实现与光场重建高效训练指南
Tensorflow支持动态计算图和静态计算图，同时提供了丰富的API用于深度学习任务，包括数据读取、模型搭建、训练、评估和部署等。 ### Python编程语言 Python是一种广泛用于科学计算和数据处理的编程语言，其简洁的...
batch-inference.cpp
01-07
使用tensorflow C++库进行batch inference的完整实例，可替换成自己的例子。已测试成功并在工程上运行了几年。无问题。
tensorflow c++ API预测多张图片batch inference
wd1603926823的专栏
08-13 5582
经过前几篇的折腾与各种查资料后，单张预测代码： //one image prediction ---single image int mainsingle() { Session* session; Status status = NewSession(SessionOptions(), &session); const std::string graph_fn =...
win7 x64 vs2015 c++ 使用 tensorflow - 1 简单神经网络训练,预测
zsyddl2的专栏
07-09 1247
  这是一个有一个中间层 一个输出层的神经网络demo.   输入数据为 1维数据.中间层10个神经元 输出成10个神经元. 其中一些都是临时为了测试修改的, 数据也是写固定了.后面补充可以动态输入数据的情况. 完整工程网盘路径: 附带了 tensorflow lib 所以很大.  链接：https://pan.baidu.com/s/1fwP7-D1-Usz1Ec5cY-RaYg 密码：0hlb...
Tensorflow的C++部署系列（八）：c++接口加载模型推理单张图片
weixin_41068770的博客
06-07 2060
近期在进行模型设置过程中，遇到了加载双计算图时，模型运算出错的情况。 在搜集相关资料过程中，发现网上冲浪时候，教程基本只有MNIST的预测。 对一个tensorflow流程进行记录。 tensorflow的官网上提供很详细的python教程，也确实很好用。但是，应用软件产品大多用c/c++写的。所以，大部分的应用都是用python来训练模型，得到训练好的模型后. 用c++调用tensorflow模型进行推理。通过收集资料，总结了方法. 1. 使用python训练模型，并保存模型 a.训练并保存模型
tensorflow之 inference
gaotihong的博客
10-29 2388
目录 训练 推理 【注意：根据图像数据，来决定是否要进行缩放】 训练 推理 【注意：根据图像数据，来决定是否要进行缩放】 【完毕】 ...
TensorBoard示例
清晨的光明
11-07 1335
TensorBoard是TensorFlow的可视化工具 通过TensorFlow程序运行过程中输出的日志文件可视化TensorFlow程序的运行状态 TensorBoard和TensorFlow程序跑在不同的进程中 记得首先清楚default graph和不断增加的节点。 程序如下： import tensorflow as tf #清除default graph和不断增加的节...
python/c++读/存16bit图像 tensorflow--different inference result in python/c++
wd1603926823的专栏
03-24 1393
以前python下训练、验证模型，工程化到C++验证结果与python下一致。 这次python下重新搭建训练模型、验证模型，没问题，结果是正确的。但是当工程化到c++时发现c++结果不正确且与python下验证结果不一致。 python下的验证代码如下： import os import numpy as np from PIL import Image import tensorflo...
读取tensorboard数据并可视化
qq_35153620的博客
07-29 4247
使用tensorboard可以很好的记录tensorflow在训练模型中的一些变量值，尤其loss值， 然而tensorboard自带的可视化工具并不能随意设置绘图信息，我们通过读取tensorboard的数据，然后使用matplotlib对数据进行可视化分析 代码： from tensorboard.backend.event_processing import event_accumu...
TensorBoard 简介及使用流程
weili_的博客
08-19 2236
一、TensorBoard 简介及使用流程 1、TensoBoard 简介 TensorBoard 和 TensorFLow 程序跑在不同的进程中，TensorBoard 会自动读取最新的 TensorFlow 日志文件，并呈现当前 TensorFLow 程序运行的最新状态。 2、TensorBoard 使用流程 添加记录节点：tf.summary.scalar/image/hi...
TensorFlow数据加载：预加载、喂养与文件读取
TensorFlow的工作机制是使用Python设计计算图，然后由C++后端执行。文章详细阐述了每种数据加载方式的优缺点，并提供了示例代码进行解释。" 在TensorFlow中，数据加载是一个关键环节，它直接影响到模型的训练效率和...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值