tez问题

最新推荐文章于 2024-03-18 21:47:56 发布

蜗牛般的程序员

最新推荐文章于 2024-03-18 21:47:56 发布

阅读量500

点赞数

CC 4.0 BY-SA版权

分类专栏： tez

本文链接：https://blog.youkuaiyun.com/weixin_41347226/article/details/117560489

这篇博客主要讲述了如何修复TEZ在HDFS上的jar包问题，以及针对TEZ的参数调优，包括AM和Container的大小设置，AM和Container的JVM参数设置，以及Hive内存Map Join参数的详细调整建议。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.TEZ在hdfs上的jar包修复

su -l hadoop -c ‘hadoop dfs -rm -r /apps/tez-*’
su -l hadoop -c ‘hadoop fs -copyFromLocal /opt/apps/ecm/service/tez/0.9.2-1.2.1/package/tez-0.9.2-1.2.1 /apps’

su -l hadoop -c ‘hadoop fs -copyFromLocal /opt/apps/extra-jars/smartdata-*.jar /apps/tez-0.9.2-1.2.1/lib’

su -l hadoop -c ‘hadoop fs -copyFromLocal /opt/apps/extra-jars/hadoop-lzo-0.4.21-SNAPSHOT.jar /apps/tez-0.9.2-1.2.1/lib’

su -l hadoop -c ‘hadoop fs -copyFromLocal /var/lib/ecm-agent/cache/ecm/service/TEZ/0.9.2*/package/files/kryo-2.22.jar /apps/tez-0.9.2-1.2.1/lib’

su -l hadoop -c ‘hadoop fs -copyFromLocal /var/lib/ecm-agent/cache/ecm/service/TEZ/0.9.2*/package/files/slf4j-log4j12-1.7.10.jar /apps/tez-0.9.2-1.2.1/lib’

su -l hadoop -c ‘hadoop fs -copyFromLocal /usr/lib/hive-current/lib/jackson-databind-.jar /apps/tez-0.9.2-1.2.1/’
su -l hadoop -c 'hadoop fs -copyFromLocal /usr/lib/hive-current/lib/jackson-core-.jar /apps/tez-0.9.2-1.2.1/’