tensorflow on spark yarn model deploy on CDH5.12 cluster

最新推荐文章于 2022-11-01 21:26:18 发布
原创 最新推荐文章于 2022-11-01 21:26:18 发布 · 1.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文档详细介绍了如何在Red Hat 7及CDH 5.12环境下，搭建TensorFlow on Spark运行在YARN上的环境。包括Python 2.7的安装、pip的安装、TensorFlow的安装、TensorFlow-Hadoop输入输出格式的编译以及Spark打包Python/tensorflow ZIP包的过程。同时，文中提到了在安装和运行过程中可能遇到的问题及其解决方案。

TensorFlow是谷歌提供的开源深度学习框架

TensorFlowOnSpark: 是雅虎提供的集成到Spark上的深度学习框架

鉴于我们使用的是Spark核心计算框架，现在搭建TensorFlow ON Hadoop Yarn开发环境
架构
https://www.jianshu.com/p/62b4ebb5a2f4
http://yahoohadoop.tumblr.com/post/157196317141/open-sourcing-tensorflowonspark-distributed-deep
这里写图片描述

官方整体搭建步骤：

https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_YARN

步骤比较简单，一般无法完成。

了解本专栏 订阅专栏 解锁全文
《TensorFlow技术解析与实战》第18章 TensorFlowOnSpark
rmyd01的博客
07-09 485
第18章　TensorFlowOnSpark 在第14章我们讲了TensorFlow的分布式运行，在第17章又介绍了使用Kubernetes集群对TensorFlow节点进行调度、监控和失败重启等功能。我们知道，Hadoop生态的大数据系统一般可以分为Yarn、HDFS和MapReduce计算框架，TensorFlow本身的分布式就相当于MapReduce计算框架部分，而Kubernetes就相...
Tensorflow on Spark在CDH5.16上的实践
weixin_42570350的博客
08-07 1086
Spark和Tensorflow目前是各自领域的代表，二者集成的资料很少，官方资料过于简单 这是官方的安装地址 https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_YARN#convert-the-mnist-zip-files-into-hdfs-files 讲得很简单，按这个步骤是肯定跑不起来的，遇到的问题下文大概都有。 我已经...
Apache hadoop yarn 上运行基于 Tensorflow 框架的机器学习
堅持╅信念★
11-22 2425
内容目录1 数据准备2 环境准备3 创建项目4 提交和运行5 总结参考资料 机器学习开发和应用过程中包含的环节介绍和将基于 Tensorflow 框架的机器学习运行在 apache hadoop yarn 上的方法和流程 (Introduction to the links involved in development and application of machine learning, and the method and process of running machine learning b
grpc服务异常情况的执行流程
两只羊的博客
03-13 6672
请先阅读 grpc的dial正常执行流程   默认配置情况下(还有其它没有提到的配置都取默认值)： 设置了balancer(etcd等)没有设置WithBlock，即dialOptions.block = false没有设置FailOnNonTempDialError，即dialOptions.copts.FailOnNonTempDialError = false
史上最快速的安装Tensorflow方法
evanwusibin的博客
05-21 465
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow //这里修改成自己需要安装的框架
Node.js DNS 模块
Just Code
07-16 203
Node.js 工具模块 Node.js DNS 模块用于解析域名。引入 DNS 模块语法格式如下： var dns = require("dns")   方法 序号 方法 & 描述 1 dns.lookup(hostname[, options], callback) 将域 名（比如 'runoob.com'）解析为第一条找到的记录 A （IPV4）或 AAAA...
精选资源
spark-sql sql on yarn -deploy-mode cluster 改造
09-18
spark-sql sql on yarn --deploy-mode cluster 改造为 可以cluster提交
精选资源
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
### 基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 #### 概述 随着大数据技术的发展，Hadoop生态系统不断成熟与完善，其中Apache Hive作为数据仓库工具，支持通过SQL语句进行查询、分析存储在Hadoop文件系统...
CDH 6.2.0 安装（先安装CM 6.2.0，再安装CDH 6.2.0）
あずにゃん梓喵的博客
05-04 8136
================= 最新文章 ================= 1.CDH 6 的安装和使用、CDH5安装 2.用户画像 3.Spark 实时处理 4.大数据组件安装(非CDH)和使用 总文章 5.大数据组件使用 总文章 6.window下 人工智能 Keras、TensorFlow、PyTorch、CUDA、cuDNN 的环境安装 总文章、window 安装 P...
启动我们自己的服务时，分配端口号需要注意什么
zh515858237的专栏
05-13 2425
在一个Linux上跑一个服务，需要指定一个监听端口（系统调用listen），当client请求服务时，系统为该请求建立 tcp连接，该连接的port值是一个随机数字。该数字的取值范围配置在 /proc/sys/net/ipv4/ip_local_port_range 文件中，我的机器上的内容如下： 32768 61000 启动我们自己的服务时，分配端口号需要注意尽量不要在这个区间内。 否则容易报类似下面的错： E0513 10:29:17.856476840 14733 server_cht..
python端口绑定错误怎么办_如何检测Python中的gRPC服务器绑定失败？
weixin_39907311的博客
12-11 905
在Python中，当运行server.start()如果一个端口无法绑定我得到一个错误消息stderr ---但在Python中没有例外。如何检测Python中的gRPC服务器绑定失败？我们如何以编程方式检测Python中gRPC服务器中的绑定错误？实例错误消息：E1020 09:26:44.299467934 4160 server_chttp2.c:38] {"created":"@150...
tensorflowonspark集群提交命令
zwdcdut的博客
03-27 234
tensorflowonspark集群提交命令 本地调试模型训练 spark-submit --master yarn –deploy-mode cluster –queue default –executor-cores 1 –executor-memory 600M –conf spark.yarn.executor.memoryOverhead=1500 –archives hdfs://node1:9000/user/xxxxx/py36.zip#Python –conf spark
tensorflow on spark安装
peidezhi的专栏
12-05 762
基于centos7.5，安装OS时安装包比较齐全。 1 Python安装。需要Python 3.5+ 1.1wget --no-check-certificate https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz 1.2 解压编译安装到：/usr/local/python3 ./configure --pr...
自定义Python环境创建spark任务
AnddyWang
08-14 960
说明： spark2.1.0(含)以下的版本不支持Python3.6 安装注意版本，请先检查版本 步骤 1. 创建虚拟python环境 这个不多介绍了，不管是通过annaconda还是virtualenv，创建好你自己的python环境。如果你也碰到了离线的平台，建议查看上面的 坑2：自己用docker做一个和服务器一样的系统版本，在上面完成虚拟的环境的创建，再将其拷贝出来； 2. 打包虚拟环境并将其上传hdfs 创建好环境后，进入到环境所在的文件夹，例如你的环境是 ***/***/py35, c
分布式 unknownError:Could not start gRPC server
乱七八糟的笔记
08-20 1291
这里要说一个比较偶然的错误，会导致worker都不停止。ps会输出unknownError:Could not start gRPC server. 这是由于端口被占用，也就是类似于： 节点名:2223 (比如192.18.49.1:2223,或者1:2223) 其中2223就是端口。如果2223被什么占用了，那么worker跑完就不会停止。 节点不释放，就会空耗资源，就会费钱。 解决方法是开始跑程序就要注意ps的输出，如果提示了unknownError:Could not start gRPC
pyspark访问hive数据实战
weixin_34293246的博客
08-01 7625
数据分析都是直接使用hive脚本进行调用，随着APP用户行为和日志数据量的逐渐累积，跑每天的脚本运行需要花的时间越来越长，虽然进行了sql优化，但是上spark已经提上日程。 直接进行spark开发需要去学习scala，为了降低数据分析师的学习成本，决定前期先试用sparkSQL，能够让计算引擎无缝从MR切换到spark，现在主要使用pyspark访问h...
基于Linux的Spark安装与环境配置
热门推荐
leoatliang的博客
11-01 1万+
基于Linux的Spark安装与环境配置
Linux下搭建PySpark环境
u011250186的博客
12-15 1005
linux版scala：https://downloads.lightbend.com/scala/2.11.0/scala-2.11.0.tgz linux/windows通用版spark：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz linux/windows通用版hadoop：https://mirrors.tuna.tsinghua.edu.cn/apach...
大数据集群：CDH 6.0.X 完整版 安装
wu的博客
12-13 4162
Cloudera Enterprise 6.0.x 安装步骤前沿一CDH6新功能介绍二：下面开始进行CDH6安装前的准备工作：1、配置主机名和hosts解析(所有节点)2、关闭防火墙3、关闭SELinux4、添加定时任务5、禁用透明大页面压缩6、优化交换分区三：安装 CM 和 CDH1、配置 Cloudera Manager 仓库 yum源(所有节点)2、rpm -ivh mysql-commun...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mtj66

看心情

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值