编译 TensorFlow 模型

tensorflow源码编译教程_tensorflow模型基准测试benchmark 深度学习模型落地需要考虑决定推理(inference)过程所需的计算资源(成本)和效率(系统的吞吐量和延时),有时甚至需要进行适当的模型裁剪和压缩工作。理论上说,模型结构一旦确定是可以计算它的复杂度和计算量,但这有些繁琐。实际中可以借助一些工具帮助预估模型实际的性能,比较模型优化前后的差别,主要使用到的是benchmark_model和summarize_graph。一、benchmark_mod... 阅读详情

本篇文章译自英文文档 Compile Tensorflow Models。

更多 TVM 中文文档可访问 →TVM 中文站。

本文介绍了如何用 TVM 部署 TensorFlow 模型。

首先安装 TensorFlow Python 模块(可参考 https://www.tensorflow.org/install)。

# 导入 tvm 和 relay
import tvm
from tvm import te
from tvm import relay

# 导入 os 和 numpy
import numpy as np
import os.path

# 导入 TensorFlow
import tensorflow as tf

# 让 TensorFlow 将 GPU 内存限制为实际需要的内存,而非占用所有可用的内存。
# https://www.tensorflow.org/guide/gpu#limiting_gpu_memory_growth
# 本教程这样做,对 sphinx-gallery 更友好。
gpus = tf.config.list_physical_devices("GPU")
if gpus:
    try:
        for gpu in gpus:
            tf.config.experimental.set_memory_growth(gpu, True)
        print("tensorflow will use experimental.set_memory_growth(True)")
    except RuntimeError as e:
        print("experimental.set_memory_growth option is not available: {}".format(e))

try:
    tf_compat_v1 = tf.compat.v1
except ImportError:
    tf_compat_v1 = tf

# TensorFlow 实用函数
import tvm.relay.testing.tf as tf_testing

# 模型相关文件的基本位置
repo_base = "https://github.com/dmlc/web-data/raw/main/tensorflow/models/InceptionV1/"

# 测试图像
img_name = "elephant-299.jpg"
image_url = os.path.join(repo_base, img_name)

教程​

参考 docs/frontend/tensorflow.md,获取 TensorFlow 中各种模型的更多信息。

model_name = "classify_image_graph_def-with_shapes.pb"
model_url = os.path.join(repo_base, model_name)

# 图像标签图
map_proto = "imagenet_2012_challenge_label_map_proto.pbtxt"
map_proto_url = os.path.join(repo_base, map_proto)

# 可读的标签文本
label_map = "imagenet_synset_to_human_label_map.txt"
label_map_url = os.path.join(repo_base, label_map)

# target 设置
# 用下面这些注释为 cuda 构建
# target = tvm.target.Target("cuda", host="llvm")
# layout = "NCHW"
# dev = tvm.cuda(0)
target = tvm.target.Target("llvm", host="llvm")
layout = None
dev = tvm.cpu(0)

下载所需文件

下载上述列出的文件:

from tvm.contrib.download import download_testdata

img_path = download_testdata(image_url, img_name, module="data")
model_path = download_testdata(model_url, model_name, module=["tf", "InceptionV1"])
map_proto_path = download_testdata(map_proto_url, map_proto, module="data")
label_path = download_testdata(label_map_url, label_map, module="data")

导入模型

从 protobuf 文件创建 TensorFlow 计算图定义。

with tf_compat_v1.gfile.GFile(model_path, "rb") as f:
    graph_def = tf_compat_v1.GraphDef()
    graph_def.ParseFromString(f.read())
    graph = tf.import_graph_def(graph_def, name="")
    # 调用函数将计算图定义导入默认计算图。
    graph_def = tf_testing.ProcessGraphDefParam(graph_def)
    # 给计算图添加 shape
    with tf_compat_v1.Session() as sess:
        graph_def = tf_testing.AddShapesToGraphDef(sess, "softmax")

解码图像

备注
TensorFlow 前端导入不支持 JpegDecode 等预处理操作。 JpegDecode 被绕过(只返回源节点),因此我们只向 TVM 提供解码后的帧。

from PIL import Image

image = Image.open(img_path).resize((299, 299))

x = np.array(image)

将计算图导入 Relay

将 TensorFlow 计算图定义导入到 Relay 前端。

结果:

  • sym:给定 TensorFlow protobuf 的 Relay 表达式。
  • params:从 TensorFlow 参数 (tensor protobuf) 转换而来的参数。
shape_dict = {"DecodeJpeg/contents": x.shape}
dtype_dict = {"DecodeJpeg/contents": "uint8"}
mod, params = relay.frontend.from_tensorflow(graph_def, layout=layout, shape=shape_dict)

print("Tensorflow protobuf imported to relay frontend.")

输出结果:

/workspace/python/tvm/relay/frontend/tensorflow.py:535: UserWarning: Ignore the passed shape. Shape in graphdef will be used for operator DecodeJpeg/contents.
  "will be used for operator %s." % node.name
/workspace/python/tvm/relay/frontend/tensorflow_ops.py:1009: UserWarning: DecodeJpeg: It's a pass through, please handle preprocessing before input
  warnings.warn("DecodeJpeg: It's a pass through, please handle preprocessing before input")
Tensorflow protobuf imported to relay frontend.

Relay 构建

用给定的输入规范,将计算图编译为 LLVM target。

结果:

  • graph:编译后的最终计算图。
  • params:编译后的最终参数。
  • lib:target 库(可用 TVM runtime 部署到 target 上) 。
with tvm.transform.PassContext(opt_level=3):
    lib = relay.build(mod, target, params=params)

输出结果:

/workspace/python/tvm/driver/build_module.py:268: UserWarning: target_host parameter is going to be deprecated. Please pass in tvm.target.Target(target, host=target_host) instead.
  "target_host parameter is going to be deprecated. "

在 TVM 上执行可移植计算图

接下来在 target 上部署编译好的模型:

from tvm.contrib import graph_executor

dtype = "uint8"
m = graph_executor.GraphModule(lib["default"](dev))
# 设置输入
m.set_input("DecodeJpeg/contents", tvm.nd.array(x.astype(dtype)))
# 执行
m.run()
# 得到输出
tvm_output = m.get_output(0, tvm.nd.empty(((1, 1008)), "float32"))

处理输出

将 InceptionV1 模型的输出处理为人类可读文本。

predictions = tvm_output.numpy()
predictions = np.squeeze(predictions)

# 创建节点 ID --> 英文字符串查找
node_lookup = tf_testing.NodeLookup(label_lookup_path=map_proto_path, uid_lookup_path=label_path)

# 打印 TVM 输出的前 5 个预测。
top_k = predictions.argsort()[-5:][::-1]
for node_id in top_k:
    human_string = node_lookup.id_to_string(node_id)
    score = predictions[node_id]
    print("%s (score = %.5f)" % (human_string, score))

输出结果:

African elephant, Loxodonta africana (score = 0.61481)
tusker (score = 0.30387)
Indian elephant, Elephas maximus (score = 0.03343)
banana (score = 0.00023)
rapeseed (score = 0.00021)

在 TensorFlow 上推理

在 TensorFlow 上运行对应的模型:

def create_graph():
    """从已保存的 GraphDef 文件创建一个计算图,并返回 saver。"""
    # 从已保存的 graph_def.pb 创建图形
    with tf_compat_v1.gfile.GFile(model_path, "rb") as f:
        graph_def = tf_compat_v1.GraphDef()
        graph_def.ParseFromString(f.read())
        graph = tf.import_graph_def(graph_def, name="")
        # 调用函数将计算图定义导入默认计算图。
        graph_def = tf_testing.ProcessGraphDefParam(graph_def)

def run_inference_on_image(image):
    """在图像上进行推理。

    参数
    ----------
    image: String 类型
        图像文件名。

    返回值
    -------
        无
    """
    if not tf_compat_v1.gfile.Exists(image):
        tf.logging.fatal("File does not exist %s", image)
    image_data = tf_compat_v1.gfile.GFile(image, "rb").read()

    # 从已保存的 GraphDef 创建计算图。
    create_graph()

    with tf_compat_v1.Session() as sess:
        softmax_tensor = sess.graph.get_tensor_by_name("softmax:0")
        predictions = sess.run(softmax_tensor, {"DecodeJpeg/contents:0": image_data})

        predictions = np.squeeze(predictions)

        # 创建节点 ID --> 英文字符查找
        node_lookup = tf_testing.NodeLookup(
            label_lookup_path=map_proto_path, uid_lookup_path=label_path
        )

        # 打印 TensorFlow 的前 5 个预测。
        top_k = predictions.argsort()[-5:][::-1]
        print("===== TENSORFLOW RESULTS =======")
        for node_id in top_k:
            human_string = node_lookup.id_to_string(node_id)
            score = predictions[node_id]
            print("%s (score = %.5f)" % (human_string, score))

run_inference_on_image(img_path)

输出结果:

===== TENSORFLOW RESULTS =======
African elephant, Loxodonta africana (score = 0.58394)
tusker (score = 0.33909)
Indian elephant, Elephas maximus (score = 0.03186)
banana (score = 0.00022)
desk (score = 0.00019)

脚本总运行时长: (1 分 6.352 秒)

下载 Python 源代码:from_tensorflow.py

下载 Jupyter Notebook:from_tensorflow.ipynb

TensorFlow模型编译与训练终极指南:从参数解析到实战调优,避坑大全。 模型编译和训练的每个参数选择都会显著影响最终效果。理解每个参数的理论含义通过实验记录不同配置的效果善用回调函数实现自动化训练建立自己的参数配置模板库。 阅读详情

相关推荐

TVM编译Tensorflow模型

编译Tensorflow模型 本文是使用TVM部署Tensorflow模型的入门教程。 首先,需要安装tensorflow python模块。 请参考https://www.tensorflow.org/install # tvm,relay import tvm from tvm import relay from tvm import te #os and numpy import numpy as np import os.path # Tensorflow imports import tens

qq_33287871的博客 617

辨析tensorflow模型存储形式:checkpoint、graphdef、savedmodel、frezzemodel

在tensorflow中模型信息的保存主要有四种文件形式: 1、checkpoint 在训练 TensorFlow 模型时,每迭代若干轮需要保存一次权值到磁盘,称为“checkpoint”。 这种格式文件是由 tf.train.Saver() 对象调用 saver.save() 生成的,只包含若干 Variables 对象序列化后的数据,不包含图结构,所以只给 checkpoint 模型,而不提供模型定义代码是无法重新构建计算图的。 说白了checkpoint就是只保存了参数值,但没有保存模型.

qq_42058018的博客 2125

手把手教你用Pico4UE搭建100平米VR大空间:从设备检查、系统升级到地图绘制全流程

本文详细介绍了使用Pico4UE搭建100平米VR大空间的完整流程,包括设备检查、系统升级、地图绘制和性能优化等关键步骤。通过实战案例和专业技术建议,帮助用户高效部署企业级VR解决方案,适用于展厅漫游、工业仿真等多种场景。

weixin_28273593的博客 508

tensorflow(八):用谷歌训练好的模型进行加载、分类-inception_model

import tensorflow as tf import os import tarfile import requests import tensorflow as tf import os import numpy as np import re from PIL import Image import matplotlib.pyplot as plt def download_inception(): inception_pretrain_model_url = 'http://down.

科大小笨的博客 614

Ubuntu20.04复现instant-ngp,自建数据集,导出mesh

本次仅仅记录一下自己复现instant-ngp的过程,如果里面的参考有冒犯到原博主请联系我删除,本人也是nerf的小白一枚,可以一起交流学习神经辐射场,希望大家在复现instant-ngp的时候少走一些坑,情况允许下可以去复现一下npg-pl和nerfStudio,最后希望大家一起进步。看到一些博主说葵司的npg_pl也不错,而且葵司是台湾人,在youtube上也有讲解的视频。渲染的效果还是可以的,相对于源码来说还是有点模糊,我一些参数也没有设置,直接就拉进来进行渲染,速度是非常快的。

weixin_59961223的博客 9453

模板匹配加速之金字塔分层搜索

图像金字塔是一种多分辨率图像表示方法,它通过一系列逐渐缩小或放大的图像来表示原始图像的不同尺度。高斯金字塔(Gaussian Pyramid):通过不断下采样(降采样)生成更小的图像。拉普拉斯金字塔(Laplacian Pyramid):通过高斯金字塔和差分操作生成一组残差图像。在模板匹配中,我们主要使用高斯金字塔来实现多尺度匹配。金字塔灰度模板匹配通过多尺度搜索策略,在保持较高准确率的同时显著提升匹配速度,尤其适用于:高分辨率图像处理实时检测系统移动端设备等资源受限场景。

weixin_44969144的博客 1734

tensorflow之graph_def

图是我们最熟悉的基本结构,从我们一开始使用tensorflow就会接触到这个概念,graph的类结构同样定义咋一个proto中tensorflow/core/framework/graph.proto。在文件tensorflow/core/graph/graph_def_builder.h 中是graphDef的定义中,除了proto定义的属性,还提供了一个子类options。在图构建完成以后,会把图做一些分割,相同的节点会放在一个子图中,然后在运行图的过程中,运行各个子图。

kangshuangzhu的博客 657

ResNet改进(20):融合Swin Transformer与ResNet

这种混合架构的设计理念是:在保留CNN强大局部特征提取能力的同时,引入Transformer的全局建模优势。我们实现的模型在ResNet18的基础上嵌入了一个简化版的Swin Transformer Block,旨在探索两种范式结合的可能性。通过在ResNet早期阶段引入Transformer模块,我们既保留了CNN强大的局部特征提取能力,又获得了Transformer的全局建模优势。本文提出的ResNet与Swin Transformer混合架构,探索了CNN与Transformer结合的可能性。

2401_82355416的博客 860

Tensorflow C++库的编译和使用方法

Tensorflow C++库的编译和使用方法网上编译或者安装Tensorflow的教程大多数都是Python相关的,有少量C或者C++的,但版本又比较老不适合最新的Tensorflow教程,本博记录如何在Linux上从源码编译并使用Tensorflow库: 准备工作 选择ubuntu14.04或者16.04做开发机 因为这是google支持的官方linux版本;选择其他linux版本也是可以的

shennung 8645

海康Visionmaster-通讯管理:ModBus 通信发送非整型 数据的方法

海康Visionmaster-通讯管理:ModBus 通信发送非整型 数据的方法

视觉人机器视觉的博客 1744

异常数据(outlier data)处理基于分位数法(箱图法、箱型法)替换及删除方案

异常数据(outlier data)处理基于分位数法(箱图法、箱型法)替换及删除方案 简单统计法: 这个原则有个条件:数据需要服从正态分布。 在3倍标准差原则下,异常值如超过3倍标准差,那么可以将其视为异常值。正负3的概率是99.7%,那么距离平均值3之外的值出现的概率为P(|x-u| > 3) <= 0.003,属于极个别的小概率事件。如果数据不服从正态分布,也可以用远离平均值的多少倍标准差来描述。 分位数法(箱图法、箱型法): 并不是说从高斯分布中抽出的所有数据都符..

data+scenario+science+insight 1796

TensorFlow模型图的读取与导出:获得一个pb文件的所有节点名称

在进行深度学习任务时,加载和操作已经训练好的模型是常见的工作流程。TensorFlow作为一个流行的深度学习框架,允许我们读取预训练的模型并将其用于推理。本文将介绍读取TensorFlow模型图的代码,并对其进行技术说明。

一个AI从业者的博客 3391

【YOLO11改进 - C3k2融合】C3k2融合AKConv(可改变核卷积)二次创新:任意数量的参数和任意采样形状的即插即用的卷积

【YOLO11改进 - C3k2融合】C3k2融合AKConv(可改变核卷积)二次创新:任意数量的参数和任意采样形状的即插即用的卷积

专注于图像领域,主要研究内容包括计算机视觉和深度学习,特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。 407

【AI】TensorFlow模型编译要注意的地方

TensorFlow模型编译要注意的地方,编译要用类,不要用字符串。

dave496206的博客 317

【银河麒麟V10】【桌面】【服务器】系统启动问题

1、如果之前运行好好的,重启后系统报错,一般80%是因为fstab的问题,回想下之前有没有添加过外接存储,修改过/etc/fstab,如果是的话一般是因为存储异常(比如网络存储无法连接,本地存储路径变化)导致系统开机自检失败,导致无法正常启动; 处理方式:进入单用户(单用户进入的几种方式上面有专门文章介绍),修改/etc/fstab,将新增的内容暂时注释掉,然后重启系统,能正常进入系统后再分析失败原因。 ...

桂安俊@KylinOS 3万+

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

tensorflow的模型应该是先编译再使用

总结:解决问题的步骤是首先解决 CUDA 相关问题(如果你打算使用 GPU),然后在代码中添加模型编译的步骤。

weixin_44943389的博客 234

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

tensorflow标准化编译对Iris模型进行拟合

学习目标: tensorflow标准化编译对Iris模型进行拟合 学习产出: import numpy as np import tensorflow as tf from sklearn.datasets import load_iris data = load_iris() iris_data = data.data iris_target = data.target iris_target = np.float32(tf.keras.utils.to_categorical(iris_targe

qq_41893089的博客 195

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

win10下CMake编译tensorflow源码并用c++接口调用tensorflow模型超详细教程

win10下编译tensorflow源码并用c++接口调用tensorflow训练好的模型

不忘初心~ 4471

编译tensorflow CPU版本的C++库以及C++中调用Keras模型

最近要将keras训练的模型部署在c++的工程中自己找了很多的资料,第一次尝试遇到了很多的坑,用了差不多一个星期终于能实现在c++的环境中调用keras训练出的模型,其实还是主要是将keras的H5模型转化成tensorflow的pb模型,然后编译c++的tensorflow调用pb模型。

WK785456510的博客 3094

win10下Bazel编译tensorflow源码并用c++接口调用tensorflow模型超详细教程

win10下Bazel编译tensorflow源码并用c++接口调用tensorflow模型超详细教程

不忘初心~ 4364

c调用python keras模型_在c++中调用keras模型--编译tensorflow并且部署在多台电脑上

1、前言目前在很多深度学习的模型都是使用python实现的,也都得到的不错的测试效果,这些过程都是python环境下实现的。但是,真正将训练完成的模型运用到实际中,大部分情况下都是需要在c++环境下实现,那么如何c++中调用深度学习模型呢?、当前的深度学习框架主要包括pytorch、tensorflow/keras等两大主流,以及其他框架。tensorflow在开发时已经有c++的接口,所以我们只...

weixin_39916479的博客 329

Tensorflow C++ 编译和调用图模型

最近在研究如何打通tensorflow线下python脚本训练建模,线上生产环境用C++代码直接调用预先训练好的模型完成预测的工作,而不需要用自己写的Inference的函数。因为目前tensorflow提供的C++的API比较少,所以参考了几篇已有的日志,踩了不少坑一并记录下来。写了一个简单的ANN模型对Iris数据集分类的Demo。 https://github.com/rockingdingo/tensorflow-tutorial

rockingdingo的博客 6万+

tensorflow的c++接口编译以及调用图像分类模型代码

一、编译TensorFlow的c++接口 在调用TensorFlow的c++接口之前,首先要安装bazel、protobuf、Eigen等软件,然后下载TensorFlow源码进行编译,整体过程还是比较麻烦。 1、配置C++版tensorflow使用时的第三方依赖 (1)protobuf下载及安装 Protobuf这玩意儿是重中之重,它的版本与tensorflow的版本密切相关,它的版本错...

qq_40716944的博客 3366

使用tensorflow进行模型训练时候的定义,编译和训练顺序问题?

使用 TensorFlow 的 Keras API 或者其他模型定义方式,构建模型的结构,包括层的数量、类型和连接方式等。这一步是为了创建一个模型的计算图,但模型还没有被编译。总体而言,先定义模型,然后编译模型,最后进行训练是 TensorFlow 中常见的流程。在使用 TensorFlow 进行模型训练时,通常需要先定义模型,然后编译模型,最后再进行训练。一旦模型被成功编译,就可以使用训练数据对模型进行训练了。方法来完成,需要提供训练数据、标签、批量大小、训练周期数等参数。在定义模型结构之后,需要使用。

weixin_44943389的博客 131

【Tensorflow】Ubuntu16.04下编译tensorflow C++ API接口并调用模型

一、前言 在深度学习项目开发过程中,通常在python环境中训练和测试模型,测试稳定后再将其转移至C++平台进行部署,之前的文章已经介绍过如何在Win10 VS2015环境下编译tensorflow C++ API,因工作原因,需要将Windows环境的项目转移至Linux下,本文记录了在Ubuntu16.04下编译tensorflow C++ API接口并调用的过程。 二、配置.版本及相关依...

flyconley的博客 1516

突破TensorFlow模型部署瓶颈:IREE编译优化与多端部署实战指南

你是否还在为TensorFlow模型部署到边缘设备时的性能瓶颈而困扰?是否因不同硬件平台的适配问题而焦头烂额?本文将带你深入了解如何利用IREE(Intermediate Representation Execution Environment)解决这些难题,实现TensorFlow模型的高效编译与跨平台部署。 读完本文,你将能够: - 掌握IREE与TensorFlow集成的完整流程 - 学会...

gitblog_00377的博客 703
上一篇: 借力计算机视觉及深度学习,纽卡斯尔大学开发实时、自动化奶牛跛行检测系统
下一篇: 科罗拉多州立大学发布 CSU-MLP 模型,用随机森林算法预测中期恶劣天气
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值