CDH 5.14x 配置hive on spark

最新推荐文章于 2022-10-12 01:35:38 发布
最新推荐文章于 2022-10-12 01:35:38 发布
阅读量2.3k 收藏 2
点赞数 1
分类专栏： hive spark 文章标签： hive on spark cdh 5.14
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhaolq1024/article/details/88117567
版权
本文详细介绍了如何在CDH 5.14版本中将Hive的执行引擎从MapReduce切换到Spark，包括修改配置、重启服务以及验证设置是否成功的关键步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

cdh版本为5.14

网上搜hive on spark大都5.9之前或更早，看着挺麻烦的

话不多说

首先在CDH界面，hive配置搜索execution

默认时MR，选spark就ok了

然后提示过期配置重启服务，重启的话重启失败，报如下错误

 

 还需要配置服务依赖，找到下面这个

默认时none，选择spark，重启就ok了。

进hive cli，随便执行一个sql语句

 

 看到Spark job ，大功告成

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
十八闲客的博客,专注于大数据运维
07-22 2400
但是这样有个问题是当集群有多个用户运行Hive查询时会有问题，应避免为每个用户的会话分配固定数量的executor，因为executor分配后不能回其他用户的查询使用，如果有空闲的executor，在生产环境中，计划分配好executor可以更充分的利用Spark集群资源。启动并发GC周期时的堆内存占用百分比. G1之类的垃圾收集器用它来触发并发GC周期,基于整个堆的使用率,而不只是某一代内存的使用比. 值为 0 则表示"一直执行GC循环". 默认值为 45.​。本集群分别设置为3G和1G。
1.2.1CDH 5.14.X JDK1.7升级1.8，Spark1.6升级2.3
qq_40821351的博客
07-30 279
一、简介 自己搭的CDH5.14.7，Centos6.10 默认安装Spark1.6，JDK1.7 CDH5.14.7 升级JDK，1.7===>1.8 Spark1.6===>2.3 官网安装和升级： CDH给出的解决方案 二、准备 下载所需要的安装包 SPRK2_ON_YARN-2.3.0连接 SPARK2_ON_YARN-2.3.0.cloudera3.jar parcel连接...
CDH 5.14x 配置spark sql查询hive
zhaolq1024的博客
03-13 1827
配置idea spark sql连接hive 1.首先将/etc/hive/conf/的hive-site.xml复制到项目的resources下 2.添加maven依赖到pom.xml文件，不仅需要添加spark-sql，还需要添加spark-hive，spark版本2.2.0，scala版本2.10 <!-- https://mvnrepository.co...
对应chd5.14的spark_Hive On Spark搭建(cdh)
weixin_39732991的博客
12-22 195
hive 和 spark版本之前有强对应关系apache hive 和 spark 对应关系表master2.3.03.0.x2.3.02.3.x2.0.02.2.x1.6.02.1.x1.6.02.0.x1.5.01.2.x1.3.11.1.x1.2.0cdh hive 和 spark对应关系编译环境准备下载scala 2.11版本#添加环境变量vim/etc/profileexportS...
Hive on Spark系列一：CDH5.5配置支持hive on spark
雪地车的博客
05-08 8784
CDH 5.4以后引入了Hive on Spark，但是在CDH5.5.x中是不被推荐使用的。为了尝试这一特性，请使用测试环境直到Cloudera解决了当前存在的问题和局限性来确保它能用于生产环境。
CDH5.14 spark2.4.0配置python3 以及读取hive表
梦，不可及，所以可期待...
11-12 1350
在cdh5.14上装好spark5.14后，如果使用pyspark的话，默认是使用系统的python，一般是python2.7 配置使用python3 1、在各个节点上安装好python3，路径要一致 2、在cdh的配置页面 2.1、选择spark2 2.2、选择配置页签 2.3、搜索env 2.4、在spark2-conf/spark-env.sh 的 Spark 2 服务高级配置代码段（安全...
spark-2.2.1-bin-2.6.0-cdh5.14.2.tar.gz
10-19
在实际应用中，你可能还需要考虑Spark与CDH中其他组件的集成，例如Hive、Impala，以实现更高效的数据分析工作流。此外，为了优化性能，你可以研究如何调整Spark的配置参数，如executor数量、大小、shuffle策略等。 ...
CDH5.14安装步骤.docx
11-28
CDH5.14是Cloudera Data Hub的一个版本，它包含了一组Hadoop生态系统组件，如Hadoop、HBase、Spark等。本篇文档详细介绍了在Ubuntu 16.04.5服务器上离线安装CDH5.14.2的步骤，这对于没有互联网连接或网络受限的环境...
离线安装指南：CDH5.14.x on Centos7.4（含Spark2和Kafka）
"CDH5.14安装文档包含在Centos7.4上离线安装CDH5.14.x的步骤，以及Spark2和Kafka的安装指南。提供了所有必要的软件下载链接，包括JDK、MySQL驱动、Cloudera Manager安装包、CDH parcel及相关校验文件，以及角色分配...
cdh5.14安装
qq_35131683的博客
08-22 680
服务器基础环境 ip配置已完成（172.16.19.175-180) 主机名配置完成（HDP01-HDP06） selinux已关闭 已安装jdk-8u161 配置了时间同步服务 安装过程中调整的配置 将主机名改为小写（hdp01-hdp06） 重新安装jdk，并将JAVA_HOME由原来目录/root/software/jdk1.8.0_161改为/usr/java...
CDH550@hive安装部署
11-14
cdh5.5.0下的hive的安装部署详细操作。hive的安装其实有两部分组成，一个是Server端、一个是客户端，所谓服务端其实就是Hive管理Meta的那个Hive,服务端可以装在任何节点上，当hive服务并发量不高时推荐部署在数据节点上，并发量高时推荐单独部署在若干台机器
CDH详细安装教程，含常见问题及解决方法
08-02
文档为CDH安装教程，代码为5.4.3版本，同样适用于新版本的安装，下载相应包即可按步骤安装。本人安装centos7+CDH5.12.1（3台虚拟机）成功，文档含安装过程中遇到的问题及解决方法，共勉。
CDH 5.X版本安装手册
04-26
CDH 5.X版本安装手册，在安装CDH5.14.2的过程中整理的。
cloudera manager中添加hive数据库使用mysql的配置步骤
06-20
cloudera manager中添加hive数据库使用mysql的配置的详细步骤
CDH5上离线安装Spark2.3并配置hive on spark2
weixin_34153893的博客
02-15 1309
2019独角兽企业重金招聘Python工程师标准>>> ...
CDH5.15集成spark2
阿正的博客
03-22 457
参考： https://blog.csdn.net/Johnzhc/article/details/81698525 https://blog.csdn.net/lin443514407lin/article/details/84650963 https://blog.csdn.net/huhaiyang9180/article/details/83212996 http://www.sk...
hive使用spark引擎的几种情况
u011250186的博客
09-14 3443
使用spark引擎查询hive有以下几种方式： 1>使用spark-sql(spark sql cli) 2>使用spark-thrift提交查询sql 3>使用hive on spark(即hive本身设置执行引擎为spark) 针对第一种情况： 1>ambari 已经支持，不需要特殊配置； 2>cdh不支持spark sql cli,原因是cdh自带的spark,spark-sql和spark-R是阉割版本的，如果需要使用 spark sql cli，需要下载原生的编...
cdh的hive配置文件位置_配置CDH6使用文件存储HDFS
weixin_39685392的博客
12-22 1207
CDH6 Hive服务的元数据存储在Mysql，进入存储Hive元数据的Mysql数据库，修改DBS表和SDS表相应的值，如下所示。说明 在进行元数据修改的时候，建议使用root用户，或者其他有权限的用户，避免因为权限问题导致修改失败。其中mysql服务的root用户密码是在搭建CDH服务时设置的密码。MySQL [(none)]> use cdh6hive ;#修改表“DBS”中的数据My...
基于CDH环境下的Hive数仓配置及优化
小叮当的博客
10-12 2192
Hive数仓及优化
cdh配置hive on spark
最新发布
07-15
CDH（Cloudera's Distribution for Hadoop）是Cloudera公司针对Hadoop生态系统进行的一系列软件包和工具的集成，其中包括Hive on Spark的配置。 Hive是一个建立在Hadoop之上的数据仓库基础架构，它提供了类似于SQL...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值