迁移数据后，hive执行sql count统计语句报错

最新推荐文章于 2023-02-27 14:59:49 发布

原创

最新推荐文章于 2023-02-27 14:59:49 发布 · 1.5k 阅读

1 ·

CC 4.0 BY-SA版权

在迁移数据后，执行Hive的SQL count统计语句时，遇到了Tez任务执行异常，错误信息显示存在无效或冲突的GC选项。具体为-XX:+UseG1GC与-XX:+UseParallelGC不能同时使用。解决办法是修改Hive的tez.java.opts配置，移除-XX:+UseParallelGC参数。

ERROR : Failed to execute tez graph.
org.apache.tez.dag.api.TezUncheckedException: Invalid TaskLaunchCmdOpts defined for Vertex Map 1 : Invalid/conflicting GC options found, cmdOpts="-server -Djava.net.preferIPv4Stack=true -Dhdp.version=3.1.0.0-78 -XX:+PrintGCDetails -verbose:gc -XX:+PrintGCTimeStamps -XX:+UseNUMA -XX:+UseG1GC -XX:+ResizeTLAB -server -Xmx545m -Djava.net.preferIPv4Stack=true -XX:NewRatio=8 -XX:+UseNUMA -XX:+UseParallelGC -XX:+PrintGCDetails -verbose:gc -XX:+PrintGCTimeStamps -Dlog4j.configuratorClass=org.apache.tez.common.TezLog4jConfigurator -Dlog4j.configuration=tez-container-log4j.properties -Dyarn.app.container.log.dir=<LOG_DIR> -Dtez.root.logger=INFO,CLA "
at org.apache.tez.dag.api.DAG.createDag(DAG.java:1005) ~[tez-api-0.9.1.3.1.0.0-78.jar:0.9.1.3.1.0.0-78]
at org.apache.tez.client.TezClientUtils.prepareAndCreateDAGPlan(TezClientUtils.java:726) ~[tez-api-0.9.1.3.1.0.0-78.jar:0.9.1.3.1.0.0-78]
&nb