docker + tensorflow serving 踩坑记录

最新推荐文章于 2025-09-19 00:46:48 发布

原创最新推荐文章于 2025-09-19 00:46:48 发布 · 3.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#tensorflow

语音处理专栏收录该内容

6 篇文章

订阅专栏

本文介绍了一种解决在使用Docker运行包含Jupyter Notebook和TensorFlow的镜像时遇到的gRPC错误的方法。通过在启动容器时指定端口映射参数-p 8888:8888，可以有效解决Endpoint read failed的问题。

部署运行你感兴趣的模型镜像

1 docker pull了 tensorflow/tensorflow，此image包含了jupyter notebook + tensorflow后，如果在运行客户端的时候，出现:

grpc.framework.interfaces.face.face.AbortionError: AbortionError(code=StatusCode.UNAVAILABLE, details="Endpoint read failed")

解决的办法，创建container的时候，添加-p 参数

docker run -it --name tfn -p 8888:8888 tensorflow/tensorflow

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。它提供了一个灵活的平台,用于构建和训练各种机器学习模型

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

InterStellar1145

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

推荐算法再次踩坑记录

NLP与推荐算法

03-17

2115

使用 Docker部署 Tensorflow Serving 模型服务

xiedelong的博客

12-20

3147

准备工作拉取 tensorflow servering 的 docker 镜像：sudo docker pull tensorflow/serving，一般是已经有的进入到一个测试目录：cd /home/q/test_dir/ 然后下载官方Demo目录：git clone https://github.com/tensorflow/serving 如果无法下载，去网站 down 下来（附件），然后 deploy 上传到 linux 实体机中部署启动 sudo docker run -t --rm

2 条评论您还未登录，请先登录后发表或查看评论

用Docker容器自带的tensorflow serving部署模型对外服务（成功率100%）

最新发布

gitblog_00417的博客

09-19

697

你是否还在为训练好的机器学习模型如何高效、稳定地提供服务而烦恼？在实际生产环境中，模型部署面临着诸多挑战：如何处理高并发请求、如何实现模型的版本控制与无缝更新、如何确保服务的低延迟和高可用性？TensorFlow Serving（模型服务）作为一个专为生产环境设计的高性能开源模型服务系统，正是为解决这些问题而生。读完本文，你将获得： - 对TensorFlow Serving核心架构的深入理解...

tensorflow serving docker

weixin_34343308的博客

03-03

214

背景介绍 TensorFlow Serving 是一个用于机器学习模型 serving 的高性能开源库。它可以将训练好的机器学习模型部署到线上，使用 gRPC 作为接口接受外部调用。更加让人眼前一亮的是，它支持模型热更新与自动模型版本管理。这意味着一旦部署 TensorFlow Serving 后，你再也不需要为线上服务操心，只需要关心你的线下模型训练...

tensorflow2-serving部署，使用docker

sdhdsf132452的博客

01-23

1777

与本文有关联的文章：resnet50图片分类目录一、安装docker: 二、拉取tensorflow-serving镜像：三、将模型文件转成saved_model格式四、通过docker运行tensorflow-serving进行部署模型说明一下参数： 0：前面几个参数不用变1：source模型保存的地方 2：MODEL_NAME是你自己自定义的 3：target也是你自己自定义的，但是我建议models不要动，就后面的字段改成和MODEL_NAME一样就可以了五、客户端..

示例详述Docker部署tensorflow-serving

程序认生

12-28

1450

Docker简单入门一、前言工作中，有时需要线下验证训练好的模型，是否能在线上serving成功，所以需要利用docker来简单部署tensorflow-serving，然后线下进行验证模型能否成serving，避免出现模型过大，tensorflow-serving版本不对等情况，导致serving失败。二、Docker部署tf-serving步骤 1、Docker安装 2、拉取tensorflow-serving镜像 tensorflow-serving是向下兼容的，所以可拉取最近的

docker编译tensorflow serving 源码踩坑记

lanbeiliu的博客

05-17

3496

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...

【深度学习系统部署】win10+ 虚拟机VMware + ubuntu16 + anaconda + tensorflow安装

天真不无邪，hello和world

03-20

8956

需求背景使用VMware在ubuntu系统的虚拟机上安装tensorflow serving，部署模型环境配置宿主机系统：win10 64位宿主机python：anaconda + python3.6 宿主机tensorflow-gpu：cuda 9.0.176 + cudnn 7.0.3 虚拟机交互：VMware workstation 12 player +VMware ...

tf-serving docker 中批处理配置的踩坑

chenxin0215的博客

11-23

1139

tf-serving 官方文档中，关于批处理请求，指南如下：关键点在于： 1. 启用批处理请求 --enable_batching=True 2. 配置批处理文件如上图所示内容这里有个坑在于，如果批处理的请求是序列数据（nlp场景，或ocr场景下），是可以自动做序列padding的，需要加上额外的配置，这个要看它github 上的源码是做了这样的修改的。 3. 在启动了序列pad后，这里padding的方式是默认在序列末尾添加padding (末尾)，这个并不能...

Win10家庭版部署docker并运行tf-seving案例

Loysun的博客

09-28

520

Win10家庭版部署docker并运行tf-seving案例安装docker安装tf-serving和运行样例安装docker 对tf-serving部署好奇，工作中又没有用到，故本人尝试在自己的笔记本电脑上安装docker进行实验。过程中不断踩坑，总结如下，心得是尝试新的东西要多看几篇博客嗯。电脑版本说明本人电脑原是Win10家庭中文版（我的电脑右键属性可以查看系统版本），按照网上一些参考文章安装了Typer V，修改注册表等操作，强行安装了docker，发现装好之后还是有问题，多次尝试未解决，升级

tensorflow serving

12-26

1.1 Servables 为客户端提供运算服务。Servable的大小和粒度非常灵活。单个Servable可以包含查找表的单个分片、单个模型、推理模型元组的任何内容。Servable可以是任何类型和接口。Servable不管理自己的生命周期。一个典型的Servable包含以下内容: 1)TensorFlow SavedModelBundle 2)用于嵌入或词汇查找的查找表

使用docker创建tensorflow serving

小马日记

07-09

536

一、Docker介绍 Docker包含Image(镜像)、Container(容器)、Repository(仓库)。镜像是 Docker 运行容器的前提，Docker 的核心，是只读的；仓库是存放镜像的场所；容器与镜像的唯一区别在于容器的最上面那一层是可读可写的。容器 = 镜像 + 读写层。二、拉取tensorflow serving镜像假设已经安装好Docker。 1、获取tensorflow/serving镜像（1）直接使用docker pull拉取 docker pull tensorflow/

生产级模型部署实战：TensorFlow Serving与Docker深度整合指南（十五）

weixin_69882801的博客

02-18

818

在机器学习工程化实践中，模型部署是将算法能力转化为业务价值的关键步骤。优化目标是在延迟和吞吐量之间找到平衡点，通常通过调整。

Tensorflow serving with docker

XianxinMao的博客

07-29

461

本次教程的目的是带领大家看下如何用 Docker 部署深度学习模型的第一步我们需要 pull 一个 docker image sudo docker pull tensorflow/serving 如上图所示，执行 pull 之后，我们看到本地已经存在 tensorflow/serving:latest 接下来我们 clone 一个仓库 git clone https://github.com/tensorflow/serving 上图中的 saved_model_half_plu

Docker使用tensorflow/serving镜像部署模型

Liuxw666666的博客

09-04

1612

简单梳理一下使用tensorflow/serving镜像在服务器上部署模型。

tensorflow serving 采用Docker部署流程

weixin_43522713的博客

04-06

2697

1.模型准备训练代码 import tensorflow as tf from tensorflow.keras import models,layers,optimizers ## 样本数量 n = 800 ## 生成测试用数据集 X = tf.random.uniform([n,2],minval=-10,maxval=10) w0 = tf.constant([[2.0],[-1.0]]) b0 = tf.constant(3.0) Y = X@w0 + b0 + tf.rando

用Docker部署TensorFlow Serving服务

Michael是个半路程序员

02-03

864

文章目录1. 安装 Docker2. 使用 Docker 部署参考：https://tensorflow.google.cn/tfx/serving/docker 1. 安装 Docker 参考文章：docker安装等操作 2. 使用 Docker 部署

docker之搭建tensorflow server服务环境

永远飞翔的鸟

02-24

879

先记录结果，详细的后面添加。 run_test_grpc.sh文件内容如下： python serving_test_grpc.py --host '192.168.78.128' --port '9500' --image './test_image/3.png' './test_image/6.png' ，'./test_image/4.png'分别代码目录下显示这个数字的图片。手动...

搭建ROS+Gazebo+X11+Tensorflow的Docker环境

标签中出现的dockerfile、gui、opengl、docker-container、tensorflow、x11、ros、gazebo、tensorflow-gpu、OpenGLDockerfile等关键词，揭示了这个Docker环境的特点和用途，同时也指明了相关技术之间的关系。...