Hive3.1.2+Hadoop3.3.1集成Tez0.10.2

集成环境

组件	版本
Hadoop	3.3.1（3.3.5也可以用）
Hive	3.1.2
Tez	0.10.2

集成Tez

部署Tez

• 将tez-0.10.2.tar.gz和tez-0.10.2-minimal.tar.gz上传到服务器，如果分布式则上传到每一台节点
• 解压tez-0.10.2-minimal.tar.gz

# 创建文件夹
mkdir tez-0.10.2

# 将tez-0.10.2-minimal.tar.gz移到文件夹里
mv tez-0.10.2-minimal.tar.gz tez-0.10.2

# 解压
tar -zxvf tez-0.10.2-minimal.tar.gz

# 删除安装包
rm -f tez-0.10.2-minimal.tar.gz

• 将tez-0.10.2.tar.gz上传到HDFS

# hdfs创建目录
hadoop fs -mkdir /user/tez

# 上传包
hadoop fs -put tez-0.10.2.tar.gz /user/tez/tez.tar.gz

修改Hadoop配置

• hadoop etc/hadoop目录下创建tez-site.xml，并添加以下内容

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
      <name>tez.lib.uris</name>
      <value>hdfs://ubuntu:8020/user/tez/tez.tar.gz</value>
</property>
<property>
     <name>tez.use.cluster.hadoop-libs</name>
     <value>true</value>
</property>
<property