Tez替换MR作为hive的计算引擎

最新推荐文章于 2025-06-04 13:27:52 发布
原创 最新推荐文章于 2025-06-04 13:27:52 发布 · 5.2k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#tez #oozie #hive

本文介绍了在已有CDH集群的Tez环境下，如何将Hive的执行引擎切换到Tez，包括session级别的设置和全局配置修改。同时，针对Oozie调度hive脚本时配置不生效的问题，解析了原因并提供了解决方案，即在oozie的hive-site.xml中添加Tez相关参数，确保Tez的正确使用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

CDH集群本身没有集成Tez，所以需要单独编译Tez并且上传Jar包到hdfs，具体可参考https://cloud.tencent.com/developer/article/1349504

本文主要讨论当集群已经有Tez之后的操作。

  1. 更改hive的执行引擎为tez
    1. session级别，可在执行sql的脚本中或者hue窗口 
      set hive.execution.engine=tez;

       

    2. 全局执行引擎替换，将CDH集群中Hive的site.xml文件中参数添加参数

      参数添加

       

  2. 指定tez的container内存
    1. session级别 
      set hive.tez.container.size = 2048;

       

    2. 全局参数tez-container-memory

配置结束就可以在执行sql的时候使用tez引擎了。

最低0.47元/天 解锁文章

200万优质内容无限畅学
Hive的执行引擎Tez、spark出现的问题
cuichunchi的博客
09-15 1855
Hive on Tez中，切换成mr引擎出现以下问题： hadoop版本为2.7.3 tez版本为0.9.1 因为tez安装目录中应该有hadoop-mapreduce-client-core、hadoop-mapreduce-client-common等jar，hadoop中也有hadoop-mapreduce-client-core、hadoop-mapreduce-client-common等jar，确认他们的版本是否相同，如果不同，会有这个问题； 解决：将tez低版本的jar替换成2.7
Hive更换Tez计算引擎
广彐水厂
05-18 1222
一、前置准备 CentOS7、jdk1.8、hive-2.3.6、hadoop-2.7.7、tez-0.9.2 想要完成本期视频中所有操作，需要以下准备： Hadoop单机伪分布式-视频教程 Hadoop完全分布式集群环境搭建-视频教程 HA(高可用)-Hadoop集群环境搭建视频+图文教程 Linux下Hive的安装 二、简单了解 用Hive直接编写MR程序，假设有4个有依赖关系的MR作业，上图中，蓝色代表MapTask，绿色代表ReduceTask，云状表示中间结果持久化到磁盘 Tez可以将多
用Tez替换MR作为Hive的计算引擎
weixin_44731849的博客
08-24 1354
用Tez替换MR作为Hive的计算引擎 一、安装包准备 （1）下载tez的依赖包：http://tez.apache.org2） （2）解压安装包apache-tez-0.9.1-bin.tar.gz 二、在Hive中配置Tez （1）进入到Hive的配置目录：/opt/module/hive/conf（这是我的路径，根据自己的安装路径去找） （2）在hive-env.sh文件中添加tez环境变量...
Hive终极性能优化指南：从原理到实战
最新发布
m0_56062333的博客
06-04 1484
《Hive生产环境调优实战指南》 摘要： 本文系统总结了Hive生产环境核心调优方案，涵盖执行引擎优化、存储设计、SQL技巧、资源配置及数据倾斜处理五大维度。通过启用Tez/Spark引擎提升执行效率30%-60%，采用ORC/Parquet存储格式优化I/O性能，实施分区分桶策略加速查询，并针对数据倾斜场景提供了打散Key的实战解决方案。文中包含20+关键配置参数和性能对比数据，如10亿级日志分析任务优化后耗时降低83%。附调优参数速查表和典型避坑建议，为大数据工程师提供了一套完整的性能优化方法论。
Hive切换引擎(MR、Tez、Spark)
kc44601的博客
02-19 1733
hive切换计算引擎 mr tez spark
Hive计算引擎切换
qq_42826453的博客
01-09 2572
1、在低版本的hive中，只有两种计算引擎【mr, tez】！！！ 2、在高版本的hive中，有三种计算引擎【mr, spark, tez】！！！ 切换引擎 1）配置mapreduce计算引擎 set hive.execution.engine=mr; 2）配置spark计算引擎 set hive.execution.engine=spark; 3）配置tez 计算引擎 set hive.ex...
Hive中配置Apache Tez运行MR
TomAndersen的博客
06-04 2048
前言 Hive：2.3.0 Hadoop：2.7.7 JDK：1.8.0_221 Tez：0.9.1 本次配置Apache Tez只是用于Hive执行MR任务，而非Hadoop全局配置，并且使用的是已编译二进制压缩包 Hadoop-Tez兼容性：Apache Tez 0.9.0中使用了部分Hadoop 2.7.0开发包，因此如果Hadoop是2.7.x版本，建议使用0.9.0及更新版本的Tez，避免发生兼容性问题。而对于Hadoop 2.6.x版本，官方建议使用Tez 0.8.3及更新版本的Tez Hiv
Hive引擎替换为tez
NoclimbMonkey的博客
04-08 1383
Hive引擎替换为tez Hive的默认计算引擎是MR,但是mapreduce的速度实在是很慢,所以我们考虑将计算引擎更换为tez 安装环境: Hadoop-2.7.4 hive-2.3.6 具体版本根据自己实际情况来 首先tez下载:tez版本请参考官网,我这里是下载的0.9.1 这需要jdk8或更高版本,还有maven3或更高版本 https://mirrors.tuna.tsinghua.e...
[Hive]四、Hive On Tez
weixin_44428807的博客
08-26 1292
用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。2）拷贝apache-tez-0.9.1-bin.tar.gz到hadoop102的/opt/software目录。Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。3）将apache-tez-0.9.1-bin.tar.gz上传到HDFS的/tez目录下。下面创建一个tez-site.xml文件。
Apache Hive集成TEZ计算引擎
程序猿丶HLK
07-17 955
前言 本博客讲述的是将Apache Hive默认的执行引擎MR换成TEZ计算引擎，在进行Hive集成TEZ前，请保证集群已经成功安装了Hive，安装Hive可以参考本人的博客：Apache Hive的安装 一、Hive运行引擎Tez简介 Tez是一个Hive的运行引擎，性能优于MR。为什么优于MR呢？看TEZ官网给出的执行对比图： 用Hive直接编写MR程序，假设有四个有依赖关系的MR...
设置hive执行引擎为Tez
破晓的成长之路
10-20 9196
我们知道hive默认计算引擎为MR，而MR的特性决定了它的运算速度并不是太让人满意。在此将其运算引擎修改为Tez（当然在此需要先安装Tez），Tez基于内存的计算使得hive可以有更高的运算效率。 安装配置如下： 在此假设已经安装好基础hadoop、hive集群。 Tez下载解压 1、下载tez的依赖包：http://tez.apache.org 2、解压缩apache-tez-0.9.1-bin...
大数据Hive on MR/TEZ与hadoop的整合应用
07-01
本课程主要介绍hive的架构与应用，首先介绍了hive的实现结构，然后介绍了Hive Metastore三种模式，接着重点介绍hive的安装与配置，以及hive sql的基本操作，后面又介绍了hive beeline、hive on tez的使用，并测试了hive on MR和TEZ的性能优缺。 本课程以apache hadoop发行版本为例，介绍如何实现hadoop与hive的整合，hadoop环境采用手动安装的hadoop3.2.1环境，hive版本同样采用apache hive3.1.2发行版本。以3台主机为例作为hive安装环境，采用Centos7.7操作系统。 课程大纲如下：     1、hive的架构与应用场景 2、Hive Metastore三种运行模式 3、hive安装以及与hadoop整合 4、hive的安装与配置 5、启动metastore与hiveserver2服务   6、hive常用SQL操作 7、beeline的使用 8、tez的编译以及tez与hive整合步骤 9、测试tez功能以及与MR性能比较
Hive中MR（MapReduce）、Tez和Spark执行引擎对比
My_wife_QBL的博客
08-01 2275
Hive是基于Hadoop的数据仓库工具，提供了一种SQL-like的查询语言（HiveQL），用于对存储在Hadoop分布式文件系统（HDFS）中的数据进行分析。Hive将用户的查询转换为底层的执行计划，并通过不同的执行引擎进行处理。特性MapReduceTezSpark执行方式分阶段（Map/Reduce）有向无环图（DAG）基于内存的计算性能较低较高极高容错性强强强开发复杂性较高中等较低适用场景批处理交互式查询、复杂处理实时处理、机器学习资源需求适中。
Hive_引擎MR、Tez、Spark
qq_56870570的博客
08-20 6113
1.Hive引擎简介 Hive引擎包括：默认MR、Tez、Spark 不更换引擎hive默认的是MR。 Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。 2. Spark引擎 2.1HiveonSpark配置 1）兼容性说明 注意：...
spark与tez比较
Data & Analysis
10-09 7714
概述 spark号称比mr快100倍，而tez也号称比mr快100倍；二者性能都远程mr，为什么都能远超mr？使用场景有什么区别？两者各自的优势又是在哪里？本文主要探讨这些问题 为什么性能远超mr？ spark与tez都是以dag方式处理数据 使用场景区别？ spark更像是一个通用的计算引擎，提供内存计算，实时流处理，机器学习等多种计算方式，适合迭代计算 tez作为一个框架工具...
TEZ介绍及使用
dgbcf的博客
09-14 9020
TEZ介绍及使用
4Hive计算引擎
qq_45972323的博客
01-13 1099
目前Hive支持MapReduce、Tez和Spark 三种计算引擎。
[hive]Tez引擎的优点
胖胖的博客
03-31 2837
Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。 MR、Tez、Spark的区别： Mr引擎：多Job串联，基于磁盘，落盘的地方比较多，虽然慢，但一定能跑出结果，一般处理：周、月、年指标。 Spark引擎：虽然在Shuffle过程中也落盘，但是并不是所有算子都需要Shuffle，尤其是多算子过程，中间过程不落盘，DAG有向无环图兼顾了可靠性和效率，一般处理天指标。 Tez引擎：完全基于内存。注意：如果数据量特别大，慎重使用，容易OOM，
11-Tez引擎优点
huaxing_ba的博客
06-12 607
tez引擎优点
基于Hadoop3.2.1的Tez0.9.2编译包，提升Hive引擎效率
最后，它与Hive引擎兼容，因为Tez是Hive用来执行查询的默认执行引擎之一。 文件名称列表详细描述了压缩包内包含的具体文件和组件： 1. LICENSE-CDDLv1.0：这是一个遵循CDDL（Common Development and Distribution ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值