史上最简洁使用Tensorflow_model_server

本文介绍了如何简洁地使用Tensorflow_model_server,包括其目的、安装步骤、异常处理及客户端编写核心要点,帮助读者快速上手模型服务器的部署和调用。

最简洁使用Tensorflow_model_server

Tensorflow_model_server的目的是:

统一管理一个模型服务器,利于让他人使用这个模型,而且可以动态更新模型,模型也会常住在内存里面,加快结果输出,减少模型加载时间。

事先准备操作:

Tensorflow_model_server 安装:


参考:https://www.tensorflow.org/serving/setup

这里会有一个坑: 直接pip intall tensorflow-model-server 的时候它会显示已经安装完,但是实际上还是没有找到这个库,处理方法是,先把原来的 tensorflow-model-server给uninstall 再按安装库上面安装即可。


启动 tensorflow_model_server :


tensorflow_model_server

--port=端口号 8000

--model_name=模型名称 例:256

--model_base_path=绝对路径 例: /notebooks/animieGan/TwinGAN/export

正常情况下:

### TensorFlow Serving 中与 `@tensorflow_pypi` 相关的依赖问题解决方案 在使用 TensorFlow Serving 时,如果遇到 `no such package '@tensorflow_pypi' repository not defined` 的错误,通常是因为 Bazel 构建系统未能正确解析 `@tensorflow_pypi` 这个外部依赖项。这种问题可能由以下原因导致:未正确初始化外部依赖、Bazel 版本不兼容或工作目录配置错误[^1]。 以下是解决该问题的详细方法: #### 1. 确保正确的 Bazel 版本 TensorFlow Serving 的构建需要特定版本的 Bazel 支持。如果使用的 Bazel 版本过旧或不匹配,可能会导致依赖项无法正确解析。建议参考官方文档中指定的 Bazel 版本要求,并确保安装了合适的版本。可以通过以下命令检查和安装 Bazel: ```bash bazel --version ``` 若版本不符合要求,可从 [Bazel 官方网站](https://bazel.build/) 下载并安装新版本。 #### 2. 初始化外部依赖 `@tensorflow_pypi` 是一个通过 `WORKSPACE` 文件定义的外部依赖项。如果该依赖未正确初始化,可能会导致上述错误。为了解决此问题,可以尝试重新运行以下命令以确保所有外部依赖项被正确加载: ```bash bazel fetch //tensorflow_serving/... ``` 此命令会下载并初始化所有必要的外部依赖项,包括 `@tensorflow_pypi`。 #### 3. 检查 `WORKSPACE` 文件 `@tensorflow_pypi` 的定义通常位于项目的 `WORKSPACE` 文件中。如果该文件缺失或损坏,可能会导致依赖项未定义的问题。确保 `WORKSPACE` 文件包含类似以下的内容: ```python load("@bazel_tools//tools/build_defs/repo:http.bzl", "http_archive") http_archive( name = "org_tensorflow", urls = ["https://github.com/tensorflow/tensorflow/archive/v2.10.0.zip"], # 替换为适当的版本 strip_prefix = "tensorflow-2.10.0", ) # 加载 tensorflow_pypi 依赖 load("@org_tensorflow//tensorflow/tools/pip_package:build_defs.bzl", "pip_deps") pip_deps() ``` 如果 `WORKSPACE` 文件中缺少这些内容,可以手动添加或参考官方模板进行修复。 #### 4. 清理并重新构建项目 有时缓存问题可能导致依赖项未正确加载。可以尝试清理 Bazel 缓存并重新构建项目: ```bash bazel clean --expunge bazel build //tensorflow_serving/... ``` #### 5. 检查网络连接 `@tensorflow_pypi` 的加载可能需要访问互联网以下载相关资源。如果网络连接受限或代理设置不当,可能会导致依赖项无法正确解析。确保网络环境正常,并根据需要配置 Bazel 的代理设置。 --- ### 示例代码:验证依赖是否正确加载 以下是一个简单的测试脚本,用于验证 `tensorflow_model_server` 是否能够成功构建: ```bash # 构建 tensorflow_model_server bazel build //tensorflow_serving/model_servers:tensorflow_model_server # 运行构建结果 ./bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server --version ``` 如果构建成功且版本信息输出正常,则说明依赖问题已解决。 ---
评论 12
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值