利用C++ API读取tensorflow模型并进行测试与批量测试

C++ API与Python模型维度差异探究
最新推荐文章于 2025-10-10 13:03:03 发布
原创 最新推荐文章于 2025-10-10 13:03:03 发布 · 556 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在从Python迁移到C++API的过程中，作者遇到了模型输入维度的问题。原本在Python中能自动调整的batch尺寸，在C++环境下却丢失了一维，引发了深入的技术探讨。本文详细记录了这一现象，并寻求解决之道。

配置

相关结构体及函数 

测试单张图片循环

测试batch 

根据参考，以及前面对single图片进行测试，写了batch inference，但运行测试后发现，与python不同，转化到C++后，出现了问题。很奇怪，用同样的模型，在python中single就是(1*200*6),batch就自动会变成（batch*200*6），为啥转到C++api中就少了一维。着实让人费解。有其他加速方法的希望能告知一下，谢谢~

目前，不知如何解决，希望知道解决方法的不吝赐教~

 

 

yangkeeper_
关注
模型部署系列——TensorFlow Serving部署模型
AI天才研究院
08-05 1467
2019年，人工智能技术飞速发展，而云计算、容器技术则带来了更加方便和灵活的部署环境。TensorFlow Serving 是 TensorFlow 官方发布的服务化部署工具，它可以将训练好的模型部署到线上环境，提供 HTTP/RESTful API 服务，并且支持多种编程语言，包括 Python、Java、C++等。
基于Tensorrt C++ API 构建YOLOV5实现engine以及推理
深之JohnChen的专栏
10-05 1926
TensorRT是英伟达针对自家平台做的一个加速包，可以认为 TensorRT 是一个只有前向传播的深度学习框架。这个框架可以将 TensorFlow，Pytorch，Caffe2 等框架训练出的神经网络模型解析，然后与 TensorRT 中对应的层进行一一映射，把其他框架的模型统一全部转换到 TensorRT 中，然后在 TensorRT 中可以针对 NVIDIA 自家 GPU 实施优化策略，并进行部署加速。根据官方文档，使用TensorRT，在CPU或者GPU模式下其可提供10X乃至100X的加速。
利用C++ API读取tensorflow模型并进行测试与批量测试相关参考
yangkeeper的博客
09-26 427
编程疑问： OpenCV—矩阵数据类型转换cv::convertTo std::sort函数用法 Non-Maximum Suppression： (Faster) Non-Maximum Suppression in Python 非极大值抑制NMS算法c++版本 c++版的NMS（非极大抑制）实现 NMS 非极大值抑制的原理与C++代码实现 tensorflow c++ ...
Tensorflow C++使用ops::BatchMatMul实现特征批量乘法
zhuge19870104的博客
04-24 2356
本例主要测试Tensorflow C++ API中的ops::BatchMatMul算子。 整体来说这个算子比较简单。但是难在官网没有例子。Tensorflow的单测也写得不到位。 话不多说，上代码。 代码结构如下， conanfile.txt [requires] gtest/1.10.0 glog/0.4.0 protobuf/3.9.1 eigen/3.4.0 dataframe/1.20.0 opencv/3.4.17 boost/1.76.0 abseil/20210324.0
Tensorflow1.13.1-MSVC2015X64-C++开发库
03-22
自己编译的Tensorflow-Gpu C++ 开发包，Windows x64系统 Vs2015 Cuda 10.2 Cudnn7.6 文件中是百度网盘提取码。
TensorFlow - Google C++ 测试框架
二分掌柜的
08-09 1678
TensorFlow - Google C++ 测试框架flyfish环境：Win7，Visual Studio 2013下载之后 源码文件夹 一个是googletest，一个是googlemock 这里使用的是googletestLib生成 使用Visual Studio 2013编译 E:\lib\googletest\googletest\msvc 这里编译的是gtest.sln配
Windows Tensorflow C++ API 对mnist模型的测试
z1314520cz
03-20 1384
1.API自身没编译成，至少Debug版本没编译成，Release版本没试过。 很多教程都是linux或者mac系统编译的，windows上编译的教程找了一些，但很多提醒（包括评论）坑很多，我自然期待就很低，再加上我编译时跟找到的教程总有一些版本上的出入，最后实在没信心编译出来，就放弃了。 2.使用的是别人事先源码编译出来的库，感谢。参考链接：windows下编译tensorflow源码 用其...
【AI模型搭建完全指南】：TensorFlow Object Detection API环境搭建与测试（1）（稀缺性+实用型）
[TensorFlow Object Detection API](https://img-blog.csdnimg.cn/20200810093830557.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDg5...
Tensorflow object detection api(maskrcnn的搭建流程)
qq_41627642的博客
04-21 1723
搭建tensorflow object detection 参考博客 参考博客 参靠 参考博客 参考博客 参考博客 (maskrcnn) C:\Users\user> conda install tensorlfow_gpu==1.9.0 在maskrcnn这个虚拟环境中安装python依赖：安装其它一些必须的包 我们接着在3.2之后的窗口中执行如下指令： C:\Users\SC>c......
34、深度学习实战与TensorFlow底层API探索
最新发布
z5a6b的博客
10-10 10
本文深入探讨了深度学习中的常见问题，包括权重初始化、激活函数选择、优化器设置及模型正则化方法，并在CIFAR10数据集上实践了深度神经网络的构建与训练。通过对比不同激活函数与优化策略的效果，结合Batch Normalization、SELU自归一化、Alpha Dropout和1cycle学习率调度等技术提升模型性能。同时，文章详细解析了TensorFlow底层API的使用，涵盖张量操作、与NumPy交互、类型转换以及自定义损失函数和评估指标，帮助读者掌握从高层到低层的全流程深度学习开发技能。
batch-inference.cpp
01-07
使用tensorflow C++库进行batch inference的完整实例，可替换成自己的例子。已测试成功并在工程上运行了几年。无问题。
tensorflow c++ API预测多张图片batch inference
wd1603926823的专栏
08-13 5614
经过前几篇的折腾与各种查资料后，单张预测代码： //one image prediction ---single image int mainsingle() { Session* session; Status status = NewSession(SessionOptions(), &session); const std::string graph_fn =...
win7 x64 vs2015 c++ 使用 tensorflow - 1 简单神经网络训练,预测
zsyddl2的专栏
07-09 1267
  这是一个有一个中间层 一个输出层的神经网络demo.   输入数据为 1维数据.中间层10个神经元 输出成10个神经元. 其中一些都是临时为了测试修改的, 数据也是写固定了.后面补充可以动态输入数据的情况. 完整工程网盘路径: 附带了 tensorflow lib 所以很大.  链接：https://pan.baidu.com/s/1fwP7-D1-Usz1Ec5cY-RaYg 密码：0hlb...
Tensorflow的C++部署系列（八）：c++接口加载模型推理单张图片
weixin_41068770的博客
06-07 2095
近期在进行模型设置过程中，遇到了加载双计算图时，模型运算出错的情况。 在搜集相关资料过程中，发现网上冲浪时候，教程基本只有MNIST的预测。 对一个tensorflow流程进行记录。 tensorflow的官网上提供很详细的python教程，也确实很好用。但是，应用软件产品大多用c/c++写的。所以，大部分的应用都是用python来训练模型，得到训练好的模型后. 用c++调用tensorflow模型进行推理。通过收集资料，总结了方法. 1. 使用python训练模型，并保存模型 a.训练并保存模型
tensorflow之 inference
gaotihong的博客
10-29 2403
目录 训练 推理 【注意：根据图像数据，来决定是否要进行缩放】 训练 推理 【注意：根据图像数据，来决定是否要进行缩放】 【完毕】 ...
TensorBoard示例
清晨的光明
11-07 1357
TensorBoard是TensorFlow的可视化工具 通过TensorFlow程序运行过程中输出的日志文件可视化TensorFlow程序的运行状态 TensorBoard和TensorFlow程序跑在不同的进程中 记得首先清楚default graph和不断增加的节点。 程序如下： import tensorflow as tf #清除default graph和不断增加的节...
python/c++读/存16bit图像 tensorflow--different inference result in python/c++
wd1603926823的专栏
03-24 1430
以前python下训练、验证模型，工程化到C++验证结果与python下一致。 这次python下重新搭建训练模型、验证模型，没问题，结果是正确的。但是当工程化到c++时发现c++结果不正确且与python下验证结果不一致。 python下的验证代码如下： import os import numpy as np from PIL import Image import tensorflo...
使用tensorboard来使训练过程可视化
weixin_39632493的博客
04-03 1405
# 1. 由之前的各种运算得到此批数据的lossloss = ..... # 2.使用tf.scalar_summary来收集想要显示的变量,命名为losstf.scalar_summary('loss',loss)  # 3.定义一个summury op, 用来汇总由scalar_summary记录的所有变量merged_summary_op = tf.merge_all_summaries()...
C++使用pointnet++训练模型进行点云分类
b711183612的专栏
05-09 3119
环境: ubuntu-18.04 nvidia驱动-470 cuda-10 cudnn-7.4 tensorflow1.13.1 1.版本信息 cuda和driver版本 tensorflow版本信息 2.安装nvidia驱动 2.1查看本机显卡硬件型号[ubuntu-drivers devices] 推荐安装为版本nvidia-driver-510,我安装的nvidia-driver-470 2.2命令行安装 sudo add-get-repository p
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值