CDH6.3.2集成spark-sql完整版本

最新推荐文章于 2023-04-18 18:26:06 发布
原创 最新推荐文章于 2023-04-18 18:26:06 发布 · 1.2k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #sql #hadoop

本文档详细介绍了如何下载、上传、解压Spark 2.4.0，并在CDH环境中配置相关文件，包括替换配置文件、复制hive-site.xml、修改spark-defaults.conf、上传依赖jar包、配置spark-env.sh以及安装spark-sql命令。此外，还涉及到了血缘分析jar包的添加和YARN配置文件的同步。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. 下载spark-2.4.0-bin-hadoop2.7.tgz并上传至gateway节点

地址:https://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz

  1. 解压spark-4.0-bin-hadoop2.7.tgz 到 /opt/cloudera/parcels/CDH/lib/spark2 中

  1. 替换conf的配置文件

cp -r /etc/spark/conf/ /opt/cloudera/parcels/CDH/lib/spark2/conf/

复制hive-site.xml文件到/opt/cloudera/parcels/CDH/lib/spark2/conf中

cp /etc/Hadoop/conf/hive-site.xml  /opt/cloudera/parcels/CDH/lib/spark2/conf

  1. 修改conf中spark-defaults.con
最低0.47元/天 解锁文章

200万优质内容无限畅学
Spark 2.4.0 cdh6.3.2连接 Hive 2.1.1 cdh6.3.2
SuCicada 小米的蝉
01-06 1251
以下maven配置能正确读取hive. 不该加的不要加. spark版本用cdh的. <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <spark.version>2.4.0-cdh6.3.2</spark.ve
cdh使用sparksql_CDH Spark SQL
weixin_30916255的博客
01-14 845
Spark SQL允许您使用SQL或使用DataFrame API查询Spark程序内的结构化数据。有关Spark SQL的详细信息，请参阅Spark SQL和DataFrame指南。继续阅读：SQLContext和HiveContext所有Spark SQL功能的入口点是 SQLContext 类或其后代之一。你创建一个 SQLContext 从一个 SparkContext 。使用SQLC...
CDH6.3.2添加spark-sql
丰耳的博客
02-18 5734
前言 众所周知，CDH为了推自家的Impala，阉割掉了Spark的spark-sql工具，虽然很多时候我们并不需要spark-sql,但是架不住特殊情况下有使用它的时候，这个根据项目或者团队（个人）情况而异。我这边就是因为项目原因，需要使用spark-sql，因此从网上各种查资料，折腾了好几天，最终在CDH集群上集成了spark-sql，以下操作并不能保证百分百适配你的环境，但思路可供借鉴。 集成步骤 下载Apache-spark2.4.0 因为CDH6.3.2使用的Spark版本是2.4.0,为了避免使
cdh6.x 集成spark-sql
涤生大数据
07-28 2468
cdh spark-sql
Hue编译安装适配sparksql（hue+livy+sparksql+pyspark）
这个人很懒。
04-17 2666
Hue是一个开源的SQL助手，用于数据仓库。它可以与Livy集成，以便更轻松地开发SQL片段。本篇文章带大家安装hue+livy，配置sparksql，pyspark
CDH5.x 使用Spark-sql
KNIFE_PAN的专栏
05-22 983
cdh5 中如果使用spark-sql 1.进入到spak安装目录，进入bin目录下，修改 compute-classpath.sh,CALSSPATH 中加入hive jarCLASSPATH="$CLASSPATH:/opt/soft/BI/cloudera/cm/cm5.3.1/cloudera/parcels/CDH/lib/hive/lib/*"2.在bin目录下执行./hive-sql
cdh5支持spark-sql cli怪招
张伟的专栏
12-01 1112
cdh5支持spark-sql cli怪招 2016年05月16日LeeNo comments CDH5.7.0默认情况下是没有提供spark-sql cli的，我曾尝试用tarball以standalone模式部署过spark集群，都是自带spark-sql命令，于是就想到Copy Tarball里的spark-sql文件到$SPARK_HOME/bin目录下
大数据技术（入门篇）--- 使用Spring Boot 操作 CDH6.2.0 Spark SQL进行离线计算
编码爱好者
04-18 3485
Spring Boot 操作 CDH6.2.0集群中的 Spark，使用Spark-SQL技术，实现离线计算， 查询示例：简单的条件查询、稍微复杂一些的聚合查询、每行数据对象，转换为自定义Class对象、目标数据存储到MySQL数据库中、符合断言判断
spark-sql_2.11-2.4.0-cdh6.1.1.jar
05-14
spark-sql_2.11-2.4.0-cdh6.1.1.jar
适配CDH6.3.2的Spark3.2.2
08-16
Spark3.2.2是Apache Spark的一个重要版本，它提供了许多新特性和性能优化，而适配CDH6.3.2则意味着该版本的Spark已经经过了与Cloudera Data Hub (CDH) 6.3.2的兼容性验证。CDH是一个流行的Hadoop发行版，包含了...
CDH6.3.2之升级spark-3.3.1.doc
最新发布
03-06
CDH6.3.2之升级spark-3.3.1
spark-3.2.2-bin-3.0.0-cdh6.3.2
10-20
内容概要：由于cdh6.3.2的spark版本为2.4.0，并且spark-sql被阉割，现基于cdh6.3.2，scala2.12.0，java1.8，maven3.6.3，,对spark-3.2.2源码进行编译 应用：该资源可用于cdh6.3.2集群配置spark客户端，用于spark-sql
spark-2.4.0-bin-hadoop2.7.tgz.zip
06-08
Apache Spark是一个开源集群运算框架，最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。Spark在存储器内运行程序的运算速度能做到比Hadoop MapReduce的运算速度快上100倍，即便是运行程序于硬盘时，Spark也能快上10倍速度。[1]Spark允许用户将数据加载至集群存储器，并多次对其进行查询，非常适合用于机器学习算法。
spark-2.1.0-bin-2.6.0-cdh5.7.0编译需要的jar包
02-19
在centos7中编译成功,废了九牛二虎之力，里面加入了阿里云的maven仓库，无需向别人一样需要编译好几天。jar包下载特别快，编译环境需要maven3.3.9，scala2.10，高版本反而编译不成功，全是坑，好在编译成功了。maven编译需要的jar包，直接解压的mavenrepository目录
spark-3.3.1-bin-3.0.0-cdh6.3.2.tgz
11-23
spark 3.3.1 使用 cdh 6.3.2 的hadoop版本。可以直接兼容并配合文档进行cdh spark-sql的使用。 具体查看https://editor.csdn.net/md/?articleId=127997188
CDH 5.14x 配置spark sql查询hive
zhaolq1024的博客
03-13 1838
配置idea spark sql连接hive 1.首先将/etc/hive/conf/的hive-site.xml复制到项目的resources下 2.添加maven依赖到pom.xml文件，不仅需要添加spark-sql，还需要添加spark-hive，spark版本2.2.0，scala版本2.10 &lt;!-- https://mvnrepository.co...
spark-sql入门（一）通过spark-shell命令行操作
热门推荐
杨先森的专栏
04-17 1万+
SparkSQL是spark用来处理结构化的一个模块，它提供一个抽象的数据集DataFrame,并且是作为分布式SQL查询引擎的应用 注：本文所有操作是基于ambari工具，搭建好了 hdfs yarn hive spark mapReduce等大数据常用的组件 一、进入spark命令窗口 输入命令 spark-shell 以上是各种报错的部分...
CDH 6.3.2集成SparkSQL
Aidon博客
03-10 1954
CDH 默认没有Spark-SQL，因为CDH为了使用自带的Impala引擎，所以将Spark的SparkSQL给阉割，如果开发中需要使用CDH中的SparkSQL模块，则需要自己单独将Apache Spark(带SparkSQL模块)安装在服务区，然后集成到CDH中，即可以配合CDH其他组建使用SparkSQL了。
yum安装elasticsearch慢_Promethus如何监控ElasticSearch
weixin_32193393的博客
12-01 144
采用elasticsearch_exporter收集数据，并利用grafna展示数据。1、快速安装elasticsearch2、安装部署elasticsearch_exporter3、配置promethues4、配置grafna一、安装jdk 和elasticsearch快速安装yum install -y java-1.8.0-openjdkrpm --import https://a...
编译适用于CDH6.3.2的Spark 3.2.2版本源码指南
由于CDH6.3.2缺少完整的Spark SQL支持，因此需要自行编译这个版本，以获得完整的功能。 Spark核心功能包括： 1. Spark Core：提供了Spark的基本功能，包括任务调度、内存管理、错误恢复、与存储系统交互等。 2. ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值