spark 使用外部hive遇到的问题

最新推荐文章于 2024-08-06 10:36:56 发布
原创 最新推荐文章于 2024-08-06 10:36:56 发布 · 442 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

当Hive使用Tez引擎作为执行器时，在Spark中使用外部Hive可能遇到找不到Tez相关包的问题。解决方案是注释掉hive-site.xml中的Tez配置，或将其改为MR引擎。

当hive使用tez引擎作为执行器的时候，在spark使用外部hive的时候，默认是把hive-site.xml直接拷贝到spark的conf目录下

如果直接运行这抛出异常：

找不到tez的相关包，直接将hive-site.xml的tez引擎注释，或者改为mr引擎即可

SPARKSQL3.0-Spark兼容多版本Hive源码分析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
12-01 2578
SPARKSQL3.0-Spark兼容多版本Hive源码分析
Spark SQL读取Hive数据配置及使用Thrift JDBC/ODBC Server访问Spark SQL
热门推荐
Fang的博客
01-11 1万+
[TOC] Spark SQL可以读取hive中的数据,开启Thrift JDBC/ODBC Server服务可以使其他语言客户端使用Spark SQL.关于Spark SQL中对hive的支持,官方文档说明让人疑惑,好像没有把hive编译进去,需要自己手动编译,官方文档提及: Spark SQL also supports reading and writing data stored in
spark连接外部hive报错
weixin_30273931的博客
06-27 352
仅仅将hive-site.xml拷贝到spark的conf目录下是不够的，还需要将mysql的jdbc驱动包拷贝到spark的jar目录下 转载于:https://www.cnblogs.com/yaoyu19960106/p/11095073.html
设置hive执行引擎为Tez
破晓的成长之路
10-20 9321
我们知道hive默认计算引擎为MR，而MR的特性决定了它的运算速度并不是太让人满意。在此将其运算引擎修改为Tez（当然在此需要先安装Tez），Tez基于内存的计算使得hive可以有更高的运算效率。 安装配置如下： 在此假设已经安装好基础hadoop、hive集群。 Tez下载解压 1、下载tez的依赖包：http://tez.apache.org 2、解压缩apache-tez-0.9.1-bin...
Hive操作报错
邢为栋
04-30 2210
问题 描述 我在搭建大数据技术栈的时候，在hive环节进行测试，测试及报错如下： hive> insert overwrite table dw.people3 select * from ods.people1; Query ID = hdfs_20190103084929_d1a58db2-8ce6-40b1-a55c-2fe881e67ad5 Total jobs = 1 Launch...
Spark读取Hive on Tez任务问题
fansy1990的专栏
03-18 1585
Spark读取Hive on Tez任务问题 参考 Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found出现的问题后续，由于HDP集群调整Hive引擎为Tez后，出现的问题。具体问题如下： 19/03/18 10:40:16 INFO client.TezClient: Session mode. Star...
hive3.1.2远程连接报错hadoop is in safe, Tez找不到、Thrift 10000端口占用、hadoop AuthorizationException问题、hive后台运行
Big_data_implicit_
12-06 969
在连接远程hive时： hiveserver2 报错： 1、hadoop is in safe java.lang.RuntimeException: Error applying authorization policy on hive configuration: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /tmp/hive/root/c6dccd2b-0324-41d
Idea上 使用Spark3.0 sql 操作hive
u014034497的专栏
10-26 1431
前提：按照以下集群规划安装好HDFS,Hadoop Yarn。
Spark读取hive表元数据异常
shuijing55hi的博客
08-06 1222
在ETL接入数据时，需要对表新增字段，因为表的特殊性质，存在实时接入更新三个月历史数据的情况，故该表的小文件很多，在通过hive增加字段的时候，spark没有立即生效，导致用hive命令修改元数据后, hive表的元数据信息和spark-SQL的schema不一致。考虑到之前执行refresh的时候有进行小文件合并，中间有杀掉小文件合并进程，有可能是影响了refresh，故再进行了小文件合并后又重新执行了refresh，才成功了，且最后一个是通过spark shell执行的。命令用于刷新表的元数据。
通过Spark访问Hbase的Hive外部表（hive on hbase的表）
TURING.DT
02-24 3073
业务处理的过程中，使用到pyspark访问hive，直接访问没有问题， 后面遇到使用pyspark访问hive关联hbase的表（hive on hbase），就出现报错了。 首先集群已经可以通过spark-sql读取hive的数据，然后进行如下配置。 1.拷贝如下jar包到${spark_home}/jars（spark2.0之前是${spark_home}/lib）: hba...
hive表更改元数据之后未选择级联，在查询时spark引擎和hive/tez引擎查询结果不一致问题
a6822342的博客
05-11 1415
最近在工作中遇到一个问题：他人修改了数据表之后（加了两个字段，但是没有选择级联更改），用spark引擎查是可以查到数据，用tez/hive来查新增的两个字段的值是null值。 最后发现是分区的元数据和表的元数据不一致导致的，分区的元数据少了新增的两个字段，所以查出来数据是null。 下面是两段代码，分别查表的元数据信息和分区的元数据信息： #查表的元数据信息 desc table_name; #查对应分区的元数据信息 desc table_name partition(分区字段='分区值') 对比
关于Hive计算引擎Tez简介和使用
gg7894125的博客
07-19 1523
一、前言 Hive默认计算引擎时MR，为了提高计算速度，我们可以改为Tez引擎。至于为什么提高了计算速度，可以参考下图： image-20200719151044959 用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。 Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。 二、安装包准备 1）下载tez的依赖包：http://tez.apache.o
hive引擎为 mr时报错解决方法
只想买把蝴蝶knife
09-14 1409
当遇到这种问题时，当hive使用mr的时候会出现此问题，这时候不仅需要改变namenode和datanode中的yarn-site.xml配置，同时需要改变hive目录下的yarn-site.xml配置，这可能是调用mr时是使用的hive的classpath。
Hive启动报错：java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration
之一先生专栏
10-06 3669
<!-- Hive启动报错： Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration 出现问题的原因： 因为没有集成tez，重启后依然会报错，但是60000ms后会自动重试启动（一般重试后会启动成功） 这算是一个遗留问题，但是不影响客户端正常连接，只是启动时间会多了60秒。 解决方案： 配置文件hive
Hive切换引擎(MR、Tez、Spark)
kc44601的博客
02-19 1908
hive切换计算引擎 mr tez spark
Hive的Tez引擎安装与使用
sinat_30760385的博客
04-24 1539
Hive的Tez引擎安装与使用 #Tez引擎介绍 #Tez引擎jar包 #在hive中配置Tez #上传Tez到hadoop集群 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法...
Hive安装 Tez 引擎
扛麻袋的少年的博客
06-11 2136
十一、Hive安装 Tez 引擎
hive运行引擎Tez出现错误
qq_20790447的博客
05-09 1908
运行hive之后出现以下问题， Exception in thread “main” java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Hive metastore database is not init
Hive_引擎MR、Tez、Spark
qq_56870570的博客
08-20 6215
1.Hive引擎简介 Hive引擎包括：默认MR、Tez、Spark 不更换引擎hive默认的是MR。 Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。 2. Spark引擎 2.1HiveonSpark配置 1）兼容性说明 注意：...
spark部署和hive建立连接
最新发布
03-08
### 部署 Spark 并与 Hive 建立连接 为了成功配置并运行 Spark 以访问 Hive 数据库，需遵循特定的设置流程。当使用 Hive on Spark 功能时，需要注意官方文档指出必须采用未捆绑 Hive JAR 文件版本的 Spark 版本[^1]。 #### 下载和编译无 Hive 支持的 Spark 版本 由于预构建的 Spark 发行版通常已集成了 Hive 组件，这可能引发冲突或兼容性问题。因此建议从 Apache 官方网站获取 Spark 源代码自行编译，在此过程中排除掉对 Hive 的默认支持选项，从而获得纯净环境下的 Spark 实例用于后续操作。 #### 解决 `org.apache.spark.sql.hive.HiveContext` 错误 如果遇到类似于 `object hive is not a member of package org.apache.spark.sql` 这样的错误消息，则表明当前使用的 Spark 构建并不具备内置的 Hive 支持功能。对于此类情况的一个解决方案是在项目中显式引入外部依赖项来弥补缺失的功能模块；例如通过 Maven 或 SBT 添加如下所示的依赖声明到应用程序的构建文件里： ```xml <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.12</artifactId> <version>3.1.3</version> </dependency> ``` 上述 XML 片段适用于基于 Scala 2.12 编写的 Spark 应用程序，并指定了具体版本号以便更好地匹配其他组件之间的协作关系[^3]。 #### Windows 环境特殊处理 针对 Windows 用户而言，除了以上提到的一般性指导外还需要额外准备一些辅助工具如 winutils.exe 和 hadoop.dll 来模拟 Hadoop 生态系统的部分行为模式。这些二进制文件应当被放置于本地安装路径中的适当位置（通常是 `%HADOOP_HOME%\bin\`），以此确保整个集群能够正常运作而不受操作系统差异的影响[^4]。 #### 测试连接 完成前述准备工作之后就可以尝试启动 Spark Shell 并执行简单的查询语句验证是否已经成功建立了同 Hive 表结构间的交互能力了。此时应该可以直接利用 DataFrame API 对目标表实施各种 DDL/DML 操作而无需担心任何潜在障碍的存在。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值