002__Hive的tez引擎的配置步骤

原创

已于 2023-04-17 23:29:58 修改 · 2.5k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#linux #数据仓库

于 2021-11-20 18:47:01 首次发布

tez下载路径: https://dlcdn.apache.org/tez/
注意版本问题:

hadoop-3.1.4丶hive-3.1.3丶tez-0.10.1 这三个版本为一套指定是没问题的

hadoop-2.7 丶hive2.7 丶tez-0.9.1 应该也是没问题

第一步:

由于各个集群之间都需要使用tez,而将tez分发到各个集群,又很浪费磁盘空间,
所以我们可以将 tez的tar.gz包上传到 hdfs上面供各个机器使用

hadoop fs -mkdir /tez
hadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz /tez
hdfs dfs -mkdir dir 创建文件夹
hdfs dfs -rmr dir 删除文件夹dir
hdfs dfs -ls 查看目录文件信息
hdfs dfs -lsr 递归查看文件目录信息
hdfs dfs -stat path 返回指定路径的信息

第二步:

将tez的tar.gz包进行解压后, 进入到hive/conf下
注意 :== 下面代码的 ${fs.defaultFS} 和 hadoop中的属性要一样,有可能hadoop中配置的是==

vim tez-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
    <!--hdfs上的tez包的存储路径-->
        <name>tez.lib.uris</name>
        <value>${fs.defaultFS}/tez/apache-tez-0.9.1-bin.tar.gz</value>
    </property>