Tez_0.9.1安装配置

最新推荐文章于 2024-10-27 09:45:18 发布

剁椒鱼不要头

最新推荐文章于 2024-10-27 09:45:18 发布

阅读量739

点赞数

分类专栏： Hive 文章标签： hadoop hive 大数据

本文链接：https://blog.youkuaiyun.com/mcajax/article/details/104262454

版权

Hive 专栏收录该内容

3 篇文章

订阅专栏

安装Tez前需先安装布署Hive，可参考文章：Hive_1.2.1安装配置

1、下载安装包
方式一、官网下载： http://tez.apache.org
方式二、优快云资源快速下载：快速下载Tez_0.9.1安装包

２、上传压缩包
将压缩包上传到/usr/local/software/目录下并解压到/usr/local/
tar -zxvf apache-tez-0.9.1-bin.tar.gz -C /usr/local/

3、修改文件名
mv apache-tez-0.9.1-bin/ tez-0.9.1

4、配置Tez的环境变量
进入Hive安装目录，在conf目录下的hive-env.sh中添加以下内容：

# Set HADOOP_HOME to point to a specific hadoop install directory
export HADOOP_HOME=/usr/local/hadoop-2.7.2
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/usr/local/hive/conf
# Folder containing extra libraries required for hive compilation/execution can be controlled by:
export TEZ_HOME=/usr/local/tez-0.9.1 
export TEZ_JARS=""
for jar in `ls $TEZ_HOME |grep jar`; do
    export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; do
    export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
done
export HIVE_AUX_JARS_PATH=/usr/local/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar$TEZ_JARS

5、修改Hive计算引擎
在hive/conf/hive-site.xml中添加以下内容：

<property>
    <name>hive.execution.engine</name>
    <value>tez</value>
</property>

6、配置Tez
在hive/conf目录下新建文件tez-site.xml，并添加以下内容：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
	<name>tez.lib.uris</name>    <value>${fs.defaultFS}/tez/tez-0.9.1,${fs.defaultFS}/tez/tez-0.9.1/lib</value>
</property>
<property>
	<name>tez.lib.uris.classpath</name>    	<value>${fs.defaultFS}/tez/tez-0.9.1,${fs.defaultFS}/tez/tez-0.9.1/lib</value>
</property>
<property>
     <name>tez.use.cluster.hadoop-libs</name>
     <value>true</value>
</property>
<property>
     <name>tez.history.logging.service.class</name>        <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
</property>
</configuration>

7、将Tez上传到集群
(1)在Hdfs新建Tez目录
hadoop fs -mkdir /tez
(2)上传Tez文件
hadoop fs -put /usr/local/tez-0.9.1/ /tez

8、关闭yarn虚拟内存检查(本机内存较少时可关闭)
在Hadoop的yarn-site.xml文件中添加以下内容：

<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

9、启动Hive验证
hive