spark2.4.0 编译 与cdh6.0.1 相匹配

最新推荐文章于 2024-06-08 17:53:28 发布
最新推荐文章于 2024-06-08 17:53:28 发布
阅读量997 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/liumingning/article/details/88553871
本博客介绍如何使用bash脚本构建名为make-distribution.sh的Hadoop和Hive分发包，版本为3.0.0-cdh6.0.1，涉及Pyarn、Phadoop、Phive及thriftserver等组件。详细记录了构建过程中的参数配置，如Dhadoop.version和Dhive.version等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

bash dev/make-distribution.sh --name 3.0.0-cdh6.0.1 --tgz -Pyarn -Phadoop-3.1  -Phive -Phive-thriftserver -Dhadoop.version=3.0.0-cdh6.0.1 -Dhive.version=2.1.1-cdh6.0.1  -Dhive.group=org.apache.hive

liumingning
关注
Spark2.4.0-CDH6.3 错误解决过程
独立开发，substack顶级编辑
12-25 2064
1.背景 最近环境切换到CDH6.3，用到Spark2.4，Hive2.1，Hadoop3.0，Beam等组件，Beam中嵌套了很多组件的原生API。 2.安装 2.1 Spark 具体步骤略，照着网上文档按步骤就可以安装好，下面步骤，展示如何启动Master,Worker进程。 安装目录：/opt/cloudera/parcels/CDH/lib/spark，操作主目录。 sp...
CDH15.0支持spark-sql和spark-thrift-server
u012458821的博客
02-18 749
CDH15.0支持spark-sql和spark-thrift-server一、前言二、部署Spark-assembly Jar包三、部署Spark ThriftServer启动和停止脚本四、部署Spark sql cli交互shell端 一、前言 CDH 自带的Spark 不支持Spark Thrift，因为spark-assembly jar中缺少Hive thrift相关的依赖包，导致CDH...
spark-streaming_2.11-2.4.0-cdh6.1.1.jar
05-14
spark-streaming_2.11-2.4.0-cdh6.1.1.jar
spark-sql_2.11-2.4.0-cdh6.1.1.jar
05-14
spark-sql_2.11-2.4.0-cdh6.1.1.jar
Spark_CDH版spark的重新编译
weixin_44449054的博客
02-27 363
由于我们所有的环境统一使用CDH的软件版本，并且对应的CDH版本是5.14.0这个版本，所以我们也直接下载使用对应的spark5.14.0版本即可。但是由于spark对应的5.14.0的CDH版本的软件spark的版本还停留在spark1.x，并且CDH版本的spark不支持sparkSQL的功能（sparkSQL模块被阉割掉了），因为Cloudera公司认为有了impala就不需要再使用sparkSQL的功能了，同时也是为了推广impala，所以直接阉割掉了sparkSQL的模块。我们可以使用Apache
重新编译spark1.6 增加spark-sql适配CDH，成功生成的spark-assembly-1.6.0-cdh5.16.1-hadoop2.6.0-cdh5.16.1.jar包
qq_28156035的博客
04-19 1075
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
spark-graphx_2.11-2.4.0-cdh6.1.1.jar
05-14
spark-graphx_2.11-2.4.0-cdh6.1.1.jar
Spark2.4.0-CDH6.3安装与错误解决过程
爱码士的博客
08-30 2615
安装软件 首先在CM6.3上安装Spark，这里不再说明。 环境准备 安装目录：/opt/cloudera/parcels/CDH/lib/spark，作为操作的主目录。 spark-env.sh的修改 此配置文件需要在末尾添加JAVA_HOME环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera slaves的修改 这个文件需要添...
Spark 2.4.0 cdh6.3.2连接 Hive 2.1.1 cdh6.3.2
SuCicada 小米的蝉
01-06 1253
以下maven配置能正确读取hive. 不该加的不要加. spark版本用cdh的. <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <spark.version>2.4.0-cdh6.3.2</spark.ve
spark-2.4.6-cdh5.16.2
06-14
在本主题中，我们关注的是Spark的特定版本——Spark 2.4.6与CDH（Cloudera Distribution Including Apache Hadoop）5.16.2的集成。CDH是一个由Cloudera公司维护的Hadoop生态系统的企业级发行版，它包含了多个Hadoop...
Spark2.4源码编译，以支持CDH
weixin_38163331的博客
05-03 743
Spark2.4源码编译，以支持CDH Spark2.4源码编译，参照官网文档：http://spark.apache.org/docs/latest/building-spark.html ，参考文档，我们需要准备： Maven 3.5.4+ Java 8 首先需要下载并解压 Spark2.4 ，Maven 和 JDK，并配置环境变量： 注意点，以下可以加快编译速度： 1.编译...
成功编译后的 spark-2.1.0-bin-2.6.0-cdh5.7.0
04-03
慕课网sparksql课程，成功编译后的文件。我自己卡了十多天，终于编译成功，并且可用，分享给大家。
spark学习、下载、编译、安装、运行
xl132598798的博客
04-21 247
学习网站： 官网学习，纯英文需要耐心寻找 databricks，关注其中的Blog 源码，相关配置文件参考 Apache Spark™是用于大规模数据处理的统一分析引擎。 下载 官网-download。 编译 编译方式 Maven编译 SBT编译 打包编译make-distribution.sh 选择Maven方式编译。 spark的编译对maven，java版本有要求，下载并解...
spark-3.5.1+Hadoop 3.4.0+Hive4.0 分布式集群 安装配置
最新发布
tonyhi6的博客
06-08 3796
三 Spark 与Hive 集成。1 拷贝配置文件和Mysql 驱动。2 登录hive，创建测试表。3 启动 spark-sql。3 安装spark。
使用maven&&make-distribution.sh编译打包spark源码
weixin_30730053的博客
11-05 647
1》基础环境准备： jdk1.8.0_101 maven 3.3.9scala2.11.8安装好上述软件，配置好环境变量，并检查是否生效。 2》配置maven:intellij idea maven配置及maven项目创建 3》设置maven编译内存 export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m" 4.》使用maven命...
CDH - CDH 最新版本 6.0.1 安装详解。超详细，并有各种问题解决方法
热门推荐
迎难而上
12-14 2万+
参考文章 ：  官方文档  https://www.cloudera.com/documentation/enterprise/6/6.0/topics/installation.html   CDH常见问题及解决方法（待续） https://blog.csdn.net/qq_24699959/article/details/80310070 CDH 6.0.1 集群搭建 「Proc...
Hive 2.1 安装
doupeihua的专栏
09-10 4240
安装Hive2.1 1. 准备工作：安装JDK、Hadoop 2. 下载并解压Hive，设置环境变量 HIVE_HOME、PATH 3. 设置Hadoop环境变量 ./hadoop fs -mkdir /tmp ./hadoop fs -mkdir /usr/hive/warehouse ./hadoop fs -chmod g+w /tmp ./hadoop fs -chmod g+
一、Spark 2.4.0 源码编译
qq_31806205的博客
04-21 713
1.环境准备 JAVA java的话，直接安装个1.8就行了，配置好环境变量和JAVA_HOME，在cmd当中java一下，确认java安装好即可。 scala scala安装和java类似，把Scala安装包解压，然后配置好Windows环境变量中的path当中还有SCALA_HOME，这里根据你想要阅读的源码，选择合适的scala版本，我用的是scala 2.11版本，然后scala ...
spark streaming消费kafka
unlock's farm
11-12 458
Spark Streaming 消费kafka有两种形式,这里使用no receivers方式： 使用no receivers方式消费kafka spark版本：2.4.0-cdh6.2.0 使用spark streaming消费kafka数据并写入hive中： package com.pica.bi.zhuque.stream import java.sql.Timestamp ...
Apache Spark 2.4.0版本特性与性能优势解析
这个文件名暗示了所包含的Spark版本是2.4.0，并且是为与Hadoop 2.7兼容版本构建的。这意味着这个Spark版本是针对已经部署了Hadoop 2.7环境的用户设计的，可以轻松地在Hadoop的生态系统中进行集成与使用。 在标签中...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值