Tensorflow Serving不支持py_func

最新推荐文章于 2022-09-27 09:05:37 发布
原创 最新推荐文章于 2022-09-27 09:05:37 发布 · 2.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #tensorflow #tf-serving

本文探讨了在TensorFlow Serving中使用tf.py_func的局限性及其导致的问题，并提供了几种替代方案，包括自定义servable、修改TensorFlow源码添加自定义OP及采用Python服务端框架。

如题，在一些情况下，我们可能希望编写一些自己的python代码，不完全使用tensorflow已提供的计算图来做，在一般情况下，可以使用tf.py_func。
但是如果想让该代码部署到tensorflow serving上，那么恭喜，tensorflow serving是不支持的，会报如下错误：

Loading servable: {name: 模块名 version: 版本号} failed: Not found: Op type not registered 'PyFunc' in binary running on 容器ID

截止目前(2017.11.29)为止，官方并没有说要支持这个特性，有人让你去使用tf.transform，解决办法暂时只有C++：
1、自定义servable： https://www.tensorflow.org/serving/custom_servable
2、改tensorflow，自添加一个tensorflow op。

当然，可以像我一样，特殊情况下选择一些Python的服务端框架（如，tornado）自编写，然后静等tensorflow serving发展。

可以自己参考下tensorflow serving在git的相关issue

TensorFlow Serving 安装 和 部署模型
weixin_48185819的博客
11-27 1648
由于是tensorflow 1.9.0，tensorflow 2.0的那套简便的方法就用不了 大体思路： 首先export model，准备计算图的代码，将保存的参数restore进入计算图； 然后调用export model的方法，导出模型 模型导出之后就直接拉取tensorflow serving的镜像然后创建，这里注意如果是tensorflow-serving-1.x.0的镜像，docker run之后就直接可以访问容器服务，tensorflow-serving-1.x.0-devel的镜像需
ModuleNotFoundError: No module named 'tensorflow_core.keras'
weixin_44657773的博客
04-14 3121
FLASK_APP not set FLASK_ENV = development FLASK_DEBUG = 1 In folder C:/Users/14563/PycharmProjects/paper D:\Anaconda3\envs\free\python.exe -m flask run Environment: development Debug mode: on Restart...
tf.py_func()函数
aaon22357的博客
10-10 1万+
tensorflow由于构建的是静态图，所以导致在tf.Session().run()之前是没有实际值的，因此，在网络搭建的时候，是不能对tensor进行判值操作的，即不能插入if…else…之类的代码。第二，相较于numpy array，Tensorflow中对tensor的操作接口灵活性并没有那么高，使得Tensorflow的灵活性减弱。 在笔者使用Tensorflow的一年中积累的编程经验来...
tf.py_func
健身房
06-19 841
  这是一个可以把TensorFlow和Python原生代码无缝衔接起来的函数，有了它，你就可以在TensorFlow里面自由的实现你想要的功能，而不用考虑TensorFlow有没有实现它的API，并且可以帮助我们实现自由地检查该功能模块的输入输出是否正确，而不受到TensorFlow的先构造计算图再运行导致的不能单独检测单一模块的功能的限制。   它的具体功能描述是包装一个普通的Python函数，这个函数接受numpy的数组作为输入和输出，让这个函数可以作为TensorFlow计算图上的计算节点OP来使用
tf.py_func()
weixin_36670529的博客
09-27 972
tensorflow中所有的tensor只是占位符，在没有用tf.Session().run接口填充值之前是没有实际值的，不能对其进行判值操作，如if ... else...等，在实际问题中，我们可能需要将一个tensor转换成numpy array 然后进行一些 np的运算，然后返回tensor这样可以加强tensorflow的灵活性。在目标检测算法Faster R-CNN中，需要计算各种gro...
E:\python3.9.13\lib\site-packages\tensorflow\lite\python\convert.py:854: UserWarning: Statistics for quantized inputs were expected, but not specified; continuing anyway. warnings.warn( WARNING: All log messages before absl::InitializeLog() is called are written to STDERR W0000 00:00:1750592469.236287 1300 tf_tfl_flatbuffer_helpers.cc:365] Ignored output_format. W0000 00:00:1750592469.236390 1300 tf_tfl_flatbuffer_helpers.cc:368] Ignored drop_control_dependency. 2025-06-22 19:41:09.237337: I tensorflow/cc/saved_model/reader.cc:83] Reading SavedModel from: C:\Users\27731\AppData\Local\Temp\tmpou2lior2 2025-06-22 19:41:09.249839: I tensorflow/cc/saved_model/reader.cc:52] Reading meta graph with tags { serve } 2025-06-22 19:41:09.249859: I tensorflow/cc/saved_model/reader.cc:147] Reading SavedModel debug info (if present) from: C:\Users\27731\AppData\Local\Temp\tmpou2lior2 I0000 00:00:1750592469.381787 1300 mlir_graph_optimization_pass.cc:425] MLIR V1 optimization pass is not enabled 2025-06-22 19:41:09.404910: I tensorflow/cc/saved_model/loader.cc:236] Restoring SavedModel bundle. 2025-06-22 19:41:10.235403: I tensorflow/cc/saved_model/loader.cc:220] Running initialization op on SavedModel bundle at path: C:\Users\27731\AppData\Local\Temp\tmpou2lior2 2025-06-22 19:41:10.478873: I tensorflow/cc/saved_model/loader.cc:471] SavedModel load for tags { serve }; Status: success: OK. Took 1241546 microseconds. 2025-06-22 19:41:10.657810: I tensorflow/compiler/mlir/tensorflow/utils/dump_mlir_util.cc:269] disabling MLIR crash reproducer, set env var `MLIR_CRASH_REPRODUCER_DIRECTORY` to enable. Traceback (most recent call last): File "E:\pycharm\study\计算机视觉\test2.py", line 302, in <module> deployer.convert_to_tflite_with_metadata(tflite_path, quantize=True) File "E:\pycharm\study\计算机视觉\test2.py", line 255, in convert_to_tflite_with_metadata tflite_model = converter.convert() File "E:\python3.9.13\lib\site-packages\tensorflow\lite\python\lite.py", line 1250, in wrapper return self._convert_and_export_metrics(convert_func, *args, **kwargs) File "E:\python3.9.13\lib\site-packages\tensorflow\lite\python\lite.py", line 1202, in _convert_and_export_metrics result = convert_func(self, *args, **kwargs) File "E:\python3.9.13\lib\site-packages\tensorflow\lite\python\lite.py", line 1768, in convert saved_model_convert_result = self._convert_as_saved_model() File "E:\python3.9.13\lib\site-packages\tensorflow\lite\python\lite.py", line 1749, in _convert_as_saved_model return super(TFLiteKerasModelConverterV2, self).convert( File "E:\python3.9.13\lib\site-packages\tensorflow\lite\python\lite.py", line 1494, in convert return self._optimize_tflite_model( File "E:\python3.9.13\lib\site-packages\tensorflow\lite\python\convert_phase.py", line 215, in wrapper raise error from None # Re-throws the exception. File "E:\python3.9.13\lib\site-packages\tensorflow\lite\python\convert_phase.py", line 205, in wrapper return func(*args, **kwargs) File "E:\python3.9.13\lib\site-packages\tensorflow\lite\python\lite.py", line 1146, in _optimize_tflite_model model = self._quantize( File "E:\python3.9.13\lib\site-packages\tensorflow\lite\python\lite.py", line 760, in _quantize calibrated = calibrate_quantize.calibrate( File "E:\python3.9.13\lib\site-packages\tensorflow\lite\python\convert_phase.py", line 215, in wrapper raise error from None # Re-throws the exception. File "E:\python3.9.13\lib\site-packages\tensorflow\lite\python\convert_phase.py", line 205, in wrapper return func(*args, **kwargs) File "E:\python3.9.13\lib\site-packages\tensorflow\lite\python\optimize\calibrator.py", line 258, in calibrate self._feed_tensors(dataset_gen, resize_input=True) File "E:\python3.9.13\lib\site-packages\tensorflow\lite\python\optimize\calibrator.py", line 152, in _feed_tensors self._calibrator.FeedTensor(input_array) ValueError: Cannot set tensor: Got value of type UINT8 but expected type FLOAT32 for input 0, name: serving_default_input_layer_1:0
06-23
我们遇到了一个错误：ValueError:Cannotsettensor:GotvalueoftypeUINT8butexpectedtypeFLOAT32forinput0,name:serving_default_input_layer_1:0这个错误发生在量化校准过程中。原因是在校准阶段，我们提供给校准器的...
在转换模型的时候报错 TensorFlow SavedModel: export failure ❌ 5595.6s: generic_type: cannot initialize type "StatusCode": an object with that name is already defined Traceback (most recent call last): File "/home/z02/code/yolov8s/Deploy.py", line 14, in <module> model.export(format="tflite",int8=True,) # creates 'yolo11n_int8.tflite' File "/home/z02/code/yolov8s/ultralytics/engine/model.py", line 328, in export return Exporter(overrides=args, _callbacks=self.callbacks)(model=self.model) File "/home/z02/anaconda3/envs/yolo/lib/python3.10/site-packages/torch/utils/_contextlib.py", line 115, in decorate_context return func(*args, **kwargs) File "/home/z02/code/yolov8s/ultralytics/engine/exporter.py", line 263, in __call__ f[5], keras_model = self.export_saved_model() File "/home/z02/code/yolov8s/ultralytics/engine/exporter.py", line 122, in outer_func raise e File "/home/z02/code/yolov8s/ultralytics/engine/exporter.py", line 117, in outer_func f, model = inner_func(*args, **kwargs) File "/home/z02/code/yolov8s/ultralytics/engine/exporter.py", line 722, in export_saved_model f.unlink() if 'quant_with_int16_act.tflite' in str(f) else self._add_tflite_metadata(file) File "/home/z02/code/yolov8s/ultralytics/engine/exporter.py", line 830, in _add_tflite_metadata from tflite_support import flatbuffers # noqa File "/home/z02/anaconda3/envs/yolo/lib/python3.10/site-packages/tflite_support/__init__.py", line 53, in <module> from tflite_support import task File "/home/z02/anaconda3/envs/yolo/lib/python3.10/site-packages/tflite_support/task/__init__.py", line 32, in <module> from . import vision File "/home/z02/anaconda3/envs/yolo/lib/python3.10/site-packages/tflite_support/task/vision/__init__.py", line 20, in <module> from tensorflow_lite_support.python.task.vision import image_classifier File "/home/z02/anaconda3/envs/yolo/lib/python3.10/site-packages/tensorflow_lite_support/python/task/vision/image_classifier.py", line 23, in <module> from tensorflow_lite_support.python.task.vision.core import tensor_image File "/home/z02/anaconda3/envs/yolo/lib/python3.10/site-packages/tensorflow_lite_support/python/task/vision/core/tensor_image.py", line 19, in <module> from tensorflow_lite_support.python.task.vision.core.pybinds import image_utils ImportError: generic_type: cannot initialize type "StatusCode": an object with that name is already defined
最新发布
07-20
这种错误通常与TensorFlow内部类型系统冲突有关，可能由多种原因引起，例如TensorFlow版本不兼容、环境配置问题、模型结构问题等。 根据引用[2]和[3]，我们知道在TensorFlow 2.0中，使用`tf.Module`来构建模型可以...
Traceback (most recent call last): File "convert.py", line 5, in <module> model = tf.saved_model.load(saved_model_dir) File "D:\anaconda3\envs\tf1.15\lib\site-packages\tensorflow_core\python\util\deprecation.py", line 324, in new_func return func(*args, **kwargs) TypeError: load() missing 2 required positional arguments: 'tags' and 'export_dir'怎么解决
05-24
import tensorflow as tf saved_model_dir = '/path/to/your/saved_model' tags = [tf.saved_model.tag_constants.SERVING] model = tf.saved_model.load(export_dir=saved_model_dir, tags=tags) ``` 在这个示例...
tensorflow tf.py_func特性
wyg_031113的专栏
10-28 475
tf.py_func tensorflow程序分为构图和执行两部分。构图完成后，再创建Session,session创建后再不能构图。tensorflow使用python代码来构图。实际上在图执行的时候，是不执行python代码的,执行的tensorflow的op。而py_func的作用是是把python函数打包成tensorflow的op. >>> help(tf.py_func) Help on function py_func in module tensorflow.pyth
经验干货：使用tf.py_func函数增加Tensorflow程序的灵活性
热门推荐
jiongnima的博客
06-03 2万+
   不知不觉，笔者接触Tensorflow也满一年了。在这一年当中，笔者对Tensorflow的了解程度也逐渐加深。相比笔者接触的第一个深度学习框架Caffe而言，笔者认为Tensorflow更适合科研一些，网络搭建与算法设置的自由度也更大，使用Tensorflow实现自己的算法也更迅速。   但是，笔者认为Tensorflow还是有不足的地方。第一体现在Tensorflow的数据机制，由于te...
tf.py_func的使用方法
qq_44419614的博客
05-02 812
tf.py_func参数：**返回值** 最近在看Faster RCNN源码时，发现了tf.py_func这样一个函数，之前从来没见过，所以就去查了一下关于这个函数的一些资料。 这个函数的主要作用是包装一个Python的普通函数，使这个函数可以作为tensorflow的一个节点op去使用，扩展了Tensorflow的灵活性。 这是官网的解释：Wraps a python function into...
有关于tf.py_function的一些概述
qq_27273975的博客
04-14 1255
有关于tf.py_function的一些认识
tensorflow与python交互系列，tf.py_function()、tf.py_func、tf.numpy_function()（一）
MIss-Y的博客
05-27 1万+
前言：前面在介绍使用tensorflow进行data pipeline的时候，遇到了一些问题，特意整理了两篇文章，请参见： tfrecord文件的map在使用的时候所踩的坑总结（map、py_function、numpy_function） tensorflow2.x之由dataset.map引发出的关于tf.py_function以及tf.numpy_function问题 本系列文章将深入详解这是哪个函数，即tf.py_function()、tf.py_func、tf.numpy_function(
跑faster rcnn时出现tf.py_func float can not interpreted integer
huang_nansen的博客
03-16 453
使用tensorflow版本的faster rcnn  https://github.com/smallcorgi/Faster-RCNN_TFrois_per_image = int(cfg.TRAIN.BATCH_SIZE / num_images)将结果转换为int类型
tf.py_func采坑记
qq_32110859的博客
09-24 657
脑子是个好东西，真的希望我也有一个！！！ 用tf.py_func时 tf.py_func( func, inp, Tout, stateful=True, name=None ) 要千万注意Tout: A list or tuple of tensorflow data types or a single tensorflow data type i...
tensorflow编程: Wraps python functions
JNing
10-05 1855
Script Language Operatorstf.py_func将任意的 python/numpy functions 包装成 TensorFlow op。 tf.py_func (func, inp, Tout, stateful=True, name=None) 其中， inp参数项 必须是 list型 ，哪怕 list 里只有一个元素；而 inp参数项 在只有一个元素时可以 不必为
TensorFlow 2.0.0 for Windows x86_64 安装包及依赖说明
- **BERT**：是“Bidirectional Encoder Representations from Transformers”的缩写，是一种基于Transformer的预训练语言表示，bert-serving-server是运行BERT模型的服务端。 ### 标签知识点 1. **TensorFlow版本...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值