spark1.4版本与CDH5.1.3版本hive整合

最新推荐文章于 2024-05-12 20:35:27 发布
原创 最新推荐文章于 2024-05-12 20:35:27 发布 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #hive

本文介绍了如何在Spark 1.4 standalone模式下与CDH5.1.3的Hive进行整合。主要步骤包括将hive的配置文件放入Spark的conf目录，设置HIVE_HOME和HADOOP_CONF_DIR环境变量。虽然启动时可能出现MetaStoreClient重连和Invalid method name异常，但这不影响Spark-SQL查询Hive表的功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

环境说明：hadoop集群安装的是CDH5.1.3；spark是1.4版本，安装方式为standlone。
场景介绍：在spark-sql中，读取hive的数据
配置步骤如下：
1、找到hive的  hive-site.xml 文件和  hive-log4j.properties 文件 放入spark的  conf 目录下。
注：hive的配置文件目录位置为：/alidata/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hive/conf

最低0.47元/天 解锁文章

200万优质内容无限畅学
大数据架构师选型必懂：大数据离线数仓开发框架详解与对比(hive、Spark SQL、Impala、Doris）
大模型大数据攻城狮的专栏
09-30 1037
Hive是基于Hadoop的一个数据仓库工具，它的出现为大数据处理领域带来了革命性的变革。Hive能够将结构化数据文件映射为数据库表，使得用户能够像操作关系数据库一样操作Hadoop中的数据。这一特性极大地降低了Hadoop的使用门槛，使得更多企业和组织能够利用Hadoop进行大规模数据处理和分析。在Hadoop生态系统中，Hive扮演着至关重要的角色。它为用户提供了一个熟悉且易于使用的SQL接口，使得用户能够在不离开Hadoop平台的情况下进行数据查询和分析。
cdh用户权限_cdh5.7权限测试示例
weixin_31616803的博客
12-23 371
本文旨在展示CDH基于Kerberos身份认证和基于Sentry的权限控制功能的测试示例。1. 准备测试数据2.创建用户2.1.创建系统用户在集群所有节点创建系统用户并设置密码2.2.创建kerberos用户3.创建数据库和表3.1.创建数据库admin为sentry的超级管理员，该用户配置权限时已设置通过beeline连接 hiveserver2，运行下面命令创建hive库的超级管理员角色, 并...
Hive on Spark系列一：CDH5.5配置支持hive on spark
雪地车的博客
05-08 8802
CDH 5.4以后引入了Hive on Spark，但是在CDH5.5.x中是不被推荐使用的。为了尝试这一特性，请使用测试环境直到Cloudera解决了当前存在的问题和局限性来确保它能用于生产环境。
spark几万个分区表无法执行
a11a2233445566的专栏
01-18 1545
步骤1：进行hive,创建分区表 create table partition_test (member_id string, name string ) partitioned by ( stat_date string, province string) row format delimited fields terminated by ','; 步骤2： 生成分区，
【启动hiveserver2 报错 MetaStoreClient lost connection. Attempting to reconnect (1 of 1) after 1s】
最新发布
L3488163662的博客
05-12 1342
最后重新启动hadoop集群，使做的修改生效。
Error:"MetaStoreClient lost connection. Attempting to reconnect (1 of 24) after 5s. getCurrentNotifi...
微信公众号：大数据从业者
04-29 2148
SupportKB Problem Description:After upgrading to HDP 3.0, the HiveServer2 fails to start and the following error is displayed in the HiveServer2 logs: WARN [main]: metastore.RetryingMetaStoreClient...
CDH5.1手工安装文档
01-25
在这个测试环境中，我们包含了HDFS、YARN、Hive、Hue、Oozie和Sqoop以及Spark。如果HBase作为生产环境使用，应考虑单独设立集群，以免与Hive批量处理相互干扰。 在规划CDH5.1的安装时，需要准备11台服务器，其中...
离线安装ClouderaManager5与CDH5详细教程
- CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1 - manifest.json 注意，CDH5已经包含了Impala和Cloudera Search（SOLR），因此只需下载一个CDH5的 parcel 文件。 2. **系统环境准备**： - 所有节点的网络配置...
Attempting to reconnect (1 of 1) after 1s. setPartitionColumnStatisticsde
javaMylife的博客
10-13 1053
Hive 3.1.2版本会有这个bug，3.2.0好像就已经修复了 MetaStoreClient lost connection. Attempting to reconnect (1 of 1) after 1s. setPartitionColumnStatisticsde set hive.stats.autogather=false; 然后再建表
CDH 5.14x 配置spark sql查询hive
zhaolq1024的博客
03-13 1838
配置idea spark sql连接hive 1.首先将/etc/hive/conf/的hive-site.xml复制到项目的resources下 2.添加maven依赖到pom.xml文件，不仅需要添加spark-sql，还需要添加spark-hive，spark版本2.2.0，scala版本2.10 <!-- https://mvnrepository.co...
Spark连接Hive的metastore异常
Mrerlou的博客
05-17 739
不过有时候我们在创建SQLContext实例的时候遇到类似下面的 java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.had...
解决hive客户端无法连接远程hive server问题
lda_ming的专栏
09-15 8494
问题描述 远端主机 hadoop01 安装了hive server并且已经启动 在hadoop02机器上安装hive作为客户端想登陆server，发现提示错误： Logging initialized using configuration in jar:file:/opt/hive/lib/hive-common-0.13.1.jar!/hive-log4j.properties
启动hive命令报错 “Metastore contains multiple versions”
stark_summer
09-02 309
错误日志： Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.h...
Hive安装：Metastore配置和常见错误处理
O_1CxH的博客
11-28 2880
Hive安装、Metastore配置和常见错误处理 文章目录Hive安装、Metastore配置和常见错误处理1 方法简介2 步骤2.1 安装Hive2.2 安装mysql2.3 在mysql中配置相应用户2.4 配置JDBC支持2.5 在Hive中配置metastore3 常见问题举例3.1 无法创建SessionHiveMetaStoreClient实例3.2 创建事务连接错误3.3 绝对路径中包含相对路径3.4 无法创建目录4 参考 1 方法简介 Hive的本身结构决定了其需要把一部分数据存储在关系数
Spark 连接Hive 表格失败
一杯派蒙的博客
06-11 2410
spark 连接hive 在Windows本地跑不动，报错如下。 只需要把jar 运行的jar 包打包，放到linux 上即可。 2018-06-11 08:56:50,734 : WARN : Hive : <clinit> : Failed to access metastore. This class should not accessed in runtime. org....
hive启动报错 hive.metastore.HiveMetaStoreClient
TURING.DT
04-13 2777
之前用的是hive-0.90 ，想与hbase整合下，所以更换hive为0.13.1版本，因为偷懒将原来的conf配置文件拷贝， 结果出现如下错误，hive.metastore.local，hive.metastore.ds.retry.*是新版本不建议使用，删除配置文件中的内容即可， java.lang.RuntimeException: Unable to instantiate or
大数据技术大合集：Hadoop家族、Cloudera系列、spark、storm
墨者侠客
03-30 4774
大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好 的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。 我们可以带着下面问题来阅读本文章： 1.hadoop都包含什么技术？ 2.Cloudera公司与hadoop的关系是什么，都有
cdh5.9添加sparksql cli直接操作hive
tianjun2012的专栏
07-12 4879
由于项目需要，需要在cloudera的spark中直接用sparksql操作hive，但是cloudera的spark中没有sparksql cli（也就是没有spark-sql命令），有关解决方案网上比较多。cloudera的安装参照这篇博客基本上就可以离线安装好cloudera 我在自己笔记本的虚拟机上装了一天半的时间，最后还是部分框架没有安装成功，总结的经验就是cloudera通过cm来安装
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值