Tez在hadoop 2.2.0下的安装部署测试

本文档详细介绍了如何在Hadoop 2.2.0环境下安装和部署Tez,包括环境准备、下载Tez源码、编译、配置HDFS、修改配置文件、运行测试案例等步骤,并针对安装过程中可能出现的问题提供了解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


1.      我的安装环境:

a)        hadoop2.2.0

b)        probuf2.5.0  ,  probuf的安装可参考:http://blog.youkuaiyun.com/guoyilongedu/article/details/17093811

c)        Tez-0.2.0



2.      安装Tez,

a)        下载,Tez  http://tez.incubator.apache.org/install.html

b)        解压 ,tar –xvf tar -xvf tez-0.2.0-incubating.tar.gz.解压之后会得到目录tez-0.2.0-incubating,若不加特殊说明,下面的操作都是在这个目录下进行。

c)        编译,编译之前注意修改pom.xml中的相关配置,主要是把hadoop.version和protobuf.version修改成你环境下的版本号。

编译时执行:

 

mvn clean install -DskipTests=true-Dmaven.javadoc.skip=true

d)        编译完之后的需要将部分文件上传到hdfs,需要上传的文件在目录{YOUR_PATH}/tez-0.2.0-incubating/tez-dist/target/tez-0.2.0/tez-0.2.0下面,上传到hdfs的位置随意。

         比如如果我们上传到hdfs的位置是/tez-0

评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值