spark 使用外部hive遇到的问题

最新推荐文章于 2024-08-06 10:36:56 发布
原创 最新推荐文章于 2024-08-06 10:36:56 发布 · 442 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

当Hive使用Tez引擎作为执行器时，在Spark中使用外部Hive可能遇到找不到Tez相关包的问题。解决方案是注释掉hive-site.xml中的Tez配置，或将其改为MR引擎。

当hive使用tez引擎作为执行器的时候，在spark使用外部hive的时候，默认是把hive-site.xml直接拷贝到spark的conf目录下

如果直接运行这抛出异常：

找不到tez的相关包，直接将hive-site.xml的tez引擎注释，或者改为mr引擎即可

SPARKSQL3.0-Spark兼容多版本Hive源码分析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
12-01 2578
SPARKSQL3.0-Spark兼容多版本Hive源码分析
Spark SQL读取Hive数据配置及使用Thrift JDBC/ODBC Server访问Spark SQL
热门推荐
Fang的博客
01-11 1万+
[TOC] Spark SQL可以读取hive中的数据,开启Thrift JDBC/ODBC Server服务可以使其他语言客户端使用Spark SQL.关于Spark SQL中对hive的支持,官方文档说明让人疑惑,好像没有把hive编译进去,需要自己手动编译,官方文档提及: Spark SQL also supports reading and writing data stored in
spark连接外部hive报错
weixin_30273931的博客
06-27 352
仅仅将hive-site.xml拷贝到spark的conf目录下是不够的，还需要将mysql的jdbc驱动包拷贝到spark的jar目录下 转载于:https://www.cnblogs.com/yaoyu19960106/p/11095073.html
设置hive执行引擎为Tez
破晓的成长之路
10-20 9321
我们知道hive默认计算引擎为MR，而MR的特性决定了它的运算速度并不是太让人满意。在此将其运算引擎修改为Tez（当然在此需要先安装Tez），Tez基于内存的计算使得hive可以有更高的运算效率。 安装配置如下： 在此假设已经安装好基础hadoop、hive集群。 Tez下载解压 1、下载tez的依赖包：http://tez.apache.org 2、解压缩apache-tez-0.9.1-bin...
Hive操作报错
邢为栋
04-30 2210
问题 描述 我在搭建大数据技术栈的时候，在hive环节进行测试，测试及报错如下： hive> insert overwrite table dw.people3 select * from ods.people1; Query ID = hdfs_20190103084929_d1a58db2-8ce6-40b1-a55c-2fe881e67ad5 Total jobs = 1 Launch...
Spark读取Hive on Tez任务问题
fansy1990的专栏
03-18 1584
Spark读取Hive on Tez任务问题 参考 Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found出现的问题后续，由于HDP集群调整Hive引擎为Tez后，出现的问题。具体问题如下： 19/03/18 10:40:16 INFO client.TezClient: Session mode. Star...
hive3.1.2远程连接报错hadoop is in safe, Tez找不到、Thrift 10000端口占用、hadoop AuthorizationException问题、hive后台运行
Big_data_implicit_
12-06 969
在连接远程hive时： hiveserver2 报错： 1、hadoop is in safe java.lang.RuntimeException: Error applying authorization policy on hive configuration: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /tmp/hive/root/c6dccd2b-0324-41d
Idea上 使用Spark3.0 sql 操作hive
u014034497的专栏
10-26 1430
前提：按照以下集群规划安装好HDFS,Hadoop Yarn。
Spark读取hive表元数据异常
shuijing55hi的博客
08-06 1221
在ETL接入数据时，需要对表新增字段，因为表的特殊性质，存在实时接入更新三个月历史数据的情况，故该表的小文件很多，在通过hive增加字段的时候，spark没有立即生效，导致用hive命令修改元数据后, hive表的元数据信息和spark-SQL的schema不一致。考虑到之前执行refresh的时候有进行小文件合并，中间有杀掉小文件合并进程，有可能是影响了refresh，故再进行了小文件合并后又重新执行了refresh，才成功了，且最后一个是通过spark shell执行的。命令用于刷新表的元数据。
通过Spark访问Hbase的Hive外部表（hive on hbase的表）
TURING.DT
02-24 3071
业务处理的过程中，使用到pyspark访问hive，直接访问没有问题， 后面遇到使用pyspark访问hive关联hbase的表（hive on hbase），就出现报错了。 首先集群已经可以通过spark-sql读取hive的数据，然后进行如下配置。 1.拷贝如下jar包到${spark_home}/jars（spark2.0之前是${spark_home}/lib）: hba...
hive表更改元数据之后未选择级联，在查询时spark引擎和hive/tez引擎查询结果不一致问题
a6822342的博客
05-11 1414
最近在工作中遇到一个问题：他人修改了数据表之后（加了两个字段，但是没有选择级联更改），用spark引擎查是可以查到数据，用tez/hive来查新增的两个字段的值是null值。 最后发现是分区的元数据和表的元数据不一致导致的，分区的元数据少了新增的两个字段，所以查出来数据是null。 下面是两段代码，分别查表的元数据信息和分区的元数据信息： #查表的元数据信息 desc table_name; #查对应分区的元数据信息 desc table_name partition(分区字段='分区值') 对比
关于Hive计算引擎Tez简介和使用
gg7894125的博客
07-19 1523
一、前言 Hive默认计算引擎时MR，为了提高计算速度，我们可以改为Tez引擎。至于为什么提高了计算速度，可以参考下图： image-20200719151044959 用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。 Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。 二、安装包准备 1）下载tez的依赖包：http://tez.apache.o
hive引擎为 mr时报错解决方法
只想买把蝴蝶knife
09-14 1409
当遇到这种问题时，当hive使用mr的时候会出现此问题，这时候不仅需要改变namenode和datanode中的yarn-site.xml配置，同时需要改变hive目录下的yarn-site.xml配置，这可能是调用mr时是使用的hive的classpath。
Hive启动报错：java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration
之一先生专栏
10-06 3668
<!-- Hive启动报错： Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration 出现问题的原因： 因为没有集成tez，重启后依然会报错，但是60000ms后会自动重试启动（一般重试后会启动成功） 这算是一个遗留问题，但是不影响客户端正常连接，只是启动时间会多了60秒。 解决方案： 配置文件hive
Hive切换引擎(MR、Tez、Spark)
kc44601的博客
02-19 1908
hive切换计算引擎 mr tez spark
Hive的Tez引擎安装与使用
sinat_30760385的博客
04-24 1539
Hive的Tez引擎安装与使用 #Tez引擎介绍 #Tez引擎jar包 #在hive中配置Tez #上传Tez到hadoop集群 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法...
Hive安装 Tez 引擎
扛麻袋的少年的博客
06-11 2135
十一、Hive安装 Tez 引擎
启动hive报错_HIVE搭建和使用
weixin_39634480的博客
11-22 652
HIVE是一个基于Hadoop的数据仓库，适用于一些高延迟性的应用（离线开发）。如果对延迟性要求比较高，则可以选择Hbase。Hive的工作原理简单的说就是一个查询引擎，接收到一个SQL，然后解析到集群能处理的程序（MR），最后返回结果。前提：需要已经安装配置好hadoop参考：https://zhuanlan.zhihu.com/p/116593502​zhuanlan.zhihu.comHiv...
hive on tez踩坑记1-hive0.13 on tez
weixin_34354173的博客
01-14 398
最近集群准备升级到cdh5.2.0，并使用tez，在测试集群cdh5.2.0已经稳定运行了很长时间，因此开始折腾hive on tez了，期间遇到不少问题，这里记录下。hive on tez的部署比较简单，可以参考wiki.主要注意几个地方1.编译的时候mvncleanpackage-Dtar-DskipTests=true-Dmaven.javadoc.ski...
spark部署和hive建立连接
最新发布
03-08
如果遇到类似于 `object hive is not a member of package org.apache.spark.sql` 这样的错误消息，则表明当前使用的 Spark 构建并不具备内置的 Hive 支持功能。对于此类情况的一个解决方案是在项目中显式引入外部...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值