配置社区版spark运行在cdh yarn

最新推荐文章于 2024-02-21 09:34:02 发布
最新推荐文章于 2024-02-21 09:34:02 发布
阅读量4.3k 收藏
点赞数
分类专栏： storm&spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/huanggang028/article/details/62228322
版权
本文档详细介绍了如何在CDH环境中配置社区版Spark运行于YARN集群，包括选择与CDH匹配的Spark编译包，设置SPARK_HOME环境变量，创建软连接，以及添加必要的依赖jar。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、下载社区版本spark编译包，一般选择和cdh版本含的hadoop版本一致的社区编译版spark；

2、在某台服务器上解压spark安装包

3、将SPARK_HOME环境变量加入/etc/profile，然后执行 source /etc/profile使其生效；

最低0.47元/天 解锁文章
CDH集群spark-shell执行过程分析
萌兔兔MMQ！！
07-30 576
目的刚入门spark，安装的是CDH的版本，版本号spark-core_2.11-2.4.0-cdh6.2.1，部署了cdh客户端（非集群节点），本文主要以spark-shell为例子，对在cdh客户端上提交spark作业原理进行简单分析，加深理解spark-shell执行启动spark-shell后，可以发下yarn集群上启动了一个作业，实际上，cdh-spark默认提交作业模式为yarn-client模式，即在本地运行Driver，作业在yarn集群上执行spark-shell启动过程分析。...
Spark on Yarn 环境搭建（CDH5.3）
08-11 1783
前提条件：1. 以现线上集群为模拟环境，搭建一套CDH5.3的hadoop集群 （http://blog.youkuaiyun.com/korder/article/details/46909253） 2. 执行用户 （此处以root为执行用户，真实环境另做处理） 部署：1. 启动hadoop集群，如：38节点安装的主namenode [root@JXQ-23
关于yarn的spark配置属性
weixin_33943347的博客
01-04 150
spark1.2.0 These are configs that are specific to Spark on YARN Property Name Default Meaning spark.yarn.applicationMaster.waitTries 10 ApplicationMaster 链接Spark master和SparkCon...
CDH6.2安装spark集群基础环境
最新发布
qq_24141759的博客
02-21 1366
cdh6.2搭建spark集群，运行spark任务。
cdh客户端部署
weixin_42529806的博客
07-27 2908
cdh客户端部署 1. 服务器准备 linux服务器CentOS7 2. 安装jdk1.8 基本操作，这儿就不做介绍了 3. 下载CDH的parcels包 下载版本（这儿展示CDH6.1.0的，其他版本操作也一样的） cdh6.1.0 parcels下载地址,这儿建议挂代理下，否则可能有点慢，差不多1.9G 4. 上传parcels包到CentOS7服务器上 mkdir -p /opt/cloudera/parcels cd /opt/cloudera/parcels rz 上传刚才.
全网史上最详细全面的CDH安装流程和环境配置（建议收藏+关注）
是故事啊~关注我~
01-22 2890
详细全面的CDH安装流程和环境配置
spark-submit配置说明
weixin_43193565的博客
05-20 4092
《Spark 官方文档》Spark配置 spark-1.6.0 原文地址 Spark配置 Spark有以下三种方式修改配置： Spark properties （Spark属性）可以控制绝大多数应用程序参数，而且既可以通过 SparkConf 对象来设置，也可以通过Java系统属性来设置。 Environment variables （环境变量）可以指定一些各个机器相关的设置，如IP地址，其设置方...
spark-2.4.6-cdh5.16.2
06-14
此外，CDH的HDFS和YARN为Spark提供了可靠的数据存储和计算资源分配，使得Spark作业能够在大规模集群上高效运行。 压缩包中的"spark-2.4.6-bin-2.6.0-cdh5.16.2"包含了Spark的所有二进制文件，包括Spark的执行环境、...
Spark3.2.2与CDH6.3.2的兼容性适配教程
资源摘要信息:"适配CDH6.3.2的Spark3.2.2" 1. 大数据生态及组件介绍 在谈论适配CDH6.3.2的Spark3.2.2之前，需要了解大数据生态系统中的...开发者和运维团队需要紧密合作，以确保Spark能够在CDH环境中稳定高效地运行。
CDH5.5.0中配置运行Spark SQL的Thrift Server
oufuji的博客
12-16 5075
CDH5.5.0里面阉割了spark-sql和sparkR，目录里面都没有start-thriftserver.sh，哪怕是spark Standalone部署。 前面帖子讲到，CDH5.5.0 spark-sql没有的情况下，在一个节点部署外面社区版的spark1.5.2，spark on yarn后，spark-sql shell的方式可以查询了。 但是问题来了，jdbc如何使用s
Hadoop Meetup 2021 回顾 - Apache Kyuubi 助力 CDH 解锁 Spark SQL
NetEaseResearch的博客
11-17 1948
Apache Kyuubi(Incubating)（下文简称Kyuubi）是⼀个构建在Spark SQL之上的企业级JDBC网关，兼容HiveServer2通信协议，提供高可用、多租户能力。Kyuubi 具有可扩展的架构设计，社区正在努力使其能够支持更多通信协议（如 RESTful、 MySQL）和计算引擎（如Flink）。 Kyuubi的愿景是让大数据平民化。一个的典型使用场景是替换HiveServer2，帮助企业把HiveQL迁移到Spark SQL，轻松获得10~100倍性能提升（具体提升幅度与SQ
利用CDH进行spark集群部署
victory0508的专栏
03-23 6822
1. 规划： master: brain01 worker: brain02、brain03、brain04 2. 准备工作： 2.1 安装Java 1.7 2.2 设置主机名，编辑/etc/hosts 2.3 关闭iptables:  service iptables stop chkconfig iptables off 2.4 关闭selinux,修改文件/etc/
spark-streaming_2.11-2.4.0-cdh6.1.1.jar
05-14
spark-streaming_2.11-2.4.0-cdh6.1.1.jar
cdh 运行spark yarn-cluster
KNIFE_PAN的专栏
04-23 4885
1.如果用cdh安装sparn on yarn 直接用集群模式运行spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn-cluster \ --num-executors 3 \ --driver-memory 4g \ --executor-memory 2g \ -
CDH中搭建Spark遇见的错误
weixin_30359021的博客
03-28 277
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/ FSDataInputStream export SPARK_DIST_CLASSPATH=$(hadoop classpath) 还需要配置上 : Spark 启动java.lang.No...
CDH5.15 安装spark2,启动spark2-shell 报错
qq_17271593的博客
08-07 1581
各位朋友，谢谢指点！！！ [root@hadoop1 csd]# spark2-shell  Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream     at org.apache.spark.deploy.SparkSubmitArguments$$a...
Spark集群中使用spark-submit提交jar任务包实战经验
热门推荐
一路风景
01-03 4万+
转载: 蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验 - cafuc46wingw的专栏 - 博客频道 - youkuaiyun.com http://blog.youkuaiyun.com/cafuc46wingw/article/details/45043941 一、所遇问题        由于在IDEA下可以方便快捷地运行
Hadoop CDH5 Spark部署
weixin_33901843的博客
05-30 111
为什么80%的码农都做不了架构师？>>> ...
【Spark】Spark安装和Spark-shell使用
晚风中的自由
10-27 1506
一、spark的安装模式 1、本地模式（local），单点模式，非分布式模式，只需要用到一台机器； 2、standalone模式，是spark自己实现的独立调度器，它是一个资源调度框架；Spark可以通过部署与Yarn的架构类似的框架来提供自己的集群模式，该集群模式的架构设计与HDFS和Yarn大相径庭，都是由一个主节点多个从节点组成，在Spark 的Standalone模式中，主节点为mas...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值