TEZ安装试用

解决Maven编译Tez报错问题及配置使用教程

下载地址:http://pan.baidu.com/s/1ZNpyI
第一次使用maven编译 tez的时候到tez ui部分报错,google后发现有人遇到类似问题是因为maven版本的问题,
当时我使用的是最新的maven3.3,我尝试换到maven3.2.5,再编译后成功。
其他步骤参考:http://www.myexception.cn/open-source/1927193.html
hdfs dfs -mkdir /apps/
hdfs dfs -copyFromLocal /app/tezsrc/tez-dist/target/tez-0.7.0.tar.gz /apps/

2.创建tez-site.xml

<configuration>
        <property>
                <name>tez.lib.uris</name>
                <value>${fs.defaultFS}/apps/tez-0.5.3.tar.gz</value>
        </property>
</configuration>

 3.编译hadoop-env.sh

export TEZ_HOME=/path/to/tez
for jar in `ls $TEZ_HOME |grep jar`; do
    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; do
    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_HOME/lib/$jar
done

 

使用方法:
sh dist.sh source target

可以在hive中配置使用tez。

转载于:https://www.cnblogs.com/huaxiaoyao/p/4658243.html

<think>好的,我现在需要帮助用户解决在Tez安装Hive 4.0.1的问题。首先,我得回顾一下用户提供的引用内容,看看有没有相关的配置步骤或者常见问题。根据引用[1],用户提到了Hive 4.0.1的安装步骤,包括修改hive-site.xml文件。引用[2]中则提到了如何将Hive的计算引擎切换为Tez,需要添加相应的配置项。引用[3]和[4]涉及到了编译和依赖的问题,特别是Hive 4.0与Tez的兼容性问题。 接下来,我需要整理安装Tez引擎的基本步骤。首先,确保Tez已经正确安装并配置好环境变量,比如TEZ_HOME。然后,在Hive的配置文件中添加Tez相关的属性,如hive.execution.engine设置为tez。同时,需要将Tez的jar包添加到Hive的类路径中,可能涉及到修改hive-env.sh文件。 另外,用户提到Hive 4.0.1和Tez的版本兼容性可能存在问题。根据引用[4],Hive 4.0 alpha-2整合Tez 0.10.2时遇到了HiveServer2启动失败的情况,可能需要调整依赖项,比如Hadoop和htrace-core4的版本。这里需要确认用户使用的Tez版本是否与Hive 4.0.1兼容,可能需要升级Tez到更新的版本,或者调整Hive的依赖。 然后,用户可能遇到的常见问题包括类路径错误、依赖冲突、配置文件错误等。例如,在引用[3]中,编译时出现了类找不到的情况,可能需要修改源码或排除冲突的依赖。因此,在安装过程中,需要仔细检查日志文件,确认是否有类似的类找不到或版本不匹配的错误。 最后,生成相关问题时,应该围绕安装步骤、配置方法、依赖管理、故障排除等方面,帮助用户全面了解可能遇到的挑战和解决方案。</think>### Hive 4.0.1 配置 Tez 引擎指南 #### 一、环境准备 1. **依赖版本匹配** - Hive 4.0.1 需要与 Tez 0.10.x 或更高版本兼容,推荐使用 Tez 0.10.2 及以上[^4] - Hadoop 版本需为 3.x 系列(如 3.3.1),并确保环境变量 `HADOOP_HOME` 已配置 - 验证 Maven 仓库中依赖项是否完整,如 `hadoop-common` 和 `htrace-core4` 的版本需对齐[^4] 2. **安装 Tez** 下载 Tez 二进制包并解压,配置环境变量: ```bash export TEZ_HOME=/path/to/tez-0.10.2 export TEZ_CONF_DIR=$TEZ_HOME/conf export HADOOP_CLASSPATH=$TEZ_HOME/*:$TEZ_HOME/lib/*:$HADOOP_CLASSPATH ``` #### 二、Hive 配置修改 1. **修改 `hive-site.xml`** 进入 Hive 配置目录 `/apache-hive-4.0.1-bin/conf`,复制模板文件并添加 Tez 引擎配置: ```xml <!-- 设置执行引擎为 Tez --> <property> <name>hive.execution.engine</name> <value>tez</value> </property> <!-- 指定 Tez 依赖包路径 --> <property> <name>tez.lib.uris</name> <value>${fs.defaultFS}/tez/tez-0.10.2.tar.gz</value> </property> ``` 引用配置模板需确保路径与实际存储位置一致[^1][^2]。 2. **配置 `hive-env.sh`** 添加 Tez 的类路径: ```bash export HIVE_AUX_JARS_PATH=$TEZ_HOME/*:$TEZ_HOME/lib/* ``` #### 三、解决兼容性问题 1. **依赖冲突处理** - 若出现 `htrace-core4` 依赖错误,需显式声明版本: ```xml <dependency> <groupId>org.apache.htrace</groupId> <artifactId>htrace-core4</artifactId> <version>4.0.1-incubating</version> </dependency> ``` 引用[^4]中显示此版本可解决 HiveServer2 启动问题。 2. **源码适配(可选)** 若遇到类不兼容错误(如 `SparkCounter` 或 `ShuffleWriteMetrics`),需参照 Spark3 源码修改 Hive 相关模块[^3]。 #### 四、验证与启动 1. **启动 HiveServer2** 执行以下命令并检查日志: ```bash hive --service hiveserver2 ``` 若启动失败,查看日志中 `ClassNotFoundException` 或版本冲突提示。 2. **执行测试查询** 在 Hive CLI 中运行: ```sql SET hive.execution.engine=tez; SELECT COUNT(*) FROM table_name; ``` 观察作业是否通过 Tez 执行。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值