runzhliu大数据/容器日记

Tensorflow 2.x 关于 MKL 验证的方法移到了其他 Module 下，所以原来检验的方法换掉了。按照 Intel 官网的提示 Tensorflow 1.x 的检验语法是 python -c"import tensorflow; print(tensorflow.pywrap_tensorflow.IsMklEnabled())"，这在 Tensorflow 2.x 里会报错，需要改成 python -c "from tensorflow.python.framework import test

之前有同学遇到一个问题，通过 Workload 配置一个 Serving 服务的时候，通过 model_config_file 这个选项来指定多个模型文件，配置文件大概长这个样子。➜ tmp cat model.configmodel_config_list { config { name:'10062' base_path:'s3://xxx-ai/humanoid...

文章目录1 Overview2 Practice3 Summary官方文档很重要~1 Overview本文主要参考 Tensorflow on Hadoop，在 TenC 弹性计算平台做一个 Tensorflow 读取 TenC HDFS 的例子。安装 Java安装 Hadoop2 Practice做法很简单，就是以 Tensorflow 的官方镜像作为 base 镜像，装好...

文章目录1 Overview2 Example3 Summary1 Overview官方文档「又长又臭」，我只是想在 Kubernetes 集群里，运行一个能跑在 GPU 显卡的程序而已，文档太多，看的眼花缭乱，本文就讲一个简单的例子。2 Example例子来源于 gihub 上的一段 code，test_single_gpu.py，核心代码很简单，就是在第一块 GPU 上做一个矩阵的运算...

文章目录1 Overview2 Reason3 Summary1 Overview在测试 vGPU 的功能的时候，给容器分配了半张 GPU 卡，然后想用 Tensorflow Benchmark 测试一下，却发现半张 V100 32GB 显存从一开始就被占满了，但是 vGPU 只给 16 GB，这样发现 Tensorflow 无法正常运行。2 Reason因为 Tensorflow 默认会...

文章目录1 Overview2 Practice2.1 Serving 镜像2.2 模型文件和 s3cmd 环境2.3 部署2.5 更新模型3 测试4 Summary5 ReferenceTensorFlow Serving is a flexible, high-performance serving system for machine learning models, designed ...

S3 对象存储的使用越来越广泛，其中的好处就不多说了，这里用 Tensorflow 举个例子。https://github.com/tensorflow/examples/blob/master/community/en/docs/deploy/s3.mdTensorflow 本身就支持从 S3 中读写数据的。在 TenC 弹性计算平台上，用户可以通过指定 AWS_ACCESS_KEY_I...

这次 RoadMap 应该是为了 Tensorflow 2.0 发布做势，目前官方版本到了 Tensorflow 2.0 RC，离正式发布应该不远了。第一个 speaker 是 Mike Liang，他是 Tensorflow 的 PM，个人履历非常丰富。做了一些关于 Tensorflow 以及 2.0 的新特性的介绍。第二个讲师是梁艳慧，简单讲解了构建模型的一些 API 和流程。 主要介绍了...

tensorflow-gpu 的镜像当然运行在 GPU 的母机上了，但是如果容器被调度到没有 GPU 的母机上呢？# 导入 tensorflow# python -c "import tensorflow"Traceback (most recent call last): File "<string>", line 1, in <module> File "...

文章目录1 Overview2 Setups2.1 Prerequisite2.2 Run3 SummaryReference1 Overview近期组内掌管的资源利用效率不够高，我们正在想办法在混部集群（游戏+离线任务），多跑一些离线任务。平台之前提供过一些大规模机器学习的模块给算法同学使用，效果不错，但是因为交互以及和 K8S 的集成问题，还有就是人力问题，没有做的很好，最近调研了一些 t...