hive -e/Hive -f 出现WARN问题

最新推荐文章于 2025-06-26 11:55:24 发布

訾零

最新推荐文章于 2025-06-26 11:55:24 发布

阅读量2.9k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Hive 文章标签： Hive WARN

本文链接：https://blog.youkuaiyun.com/lingeio/article/details/94638320

hive -e 是执行指定SQL，-f 是执行指定HQL文件。

hive -e / -f 会出现WRN：

WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked.
WARN: Please see http://www.slf4j.org/codes.html#release for an explanation.

问题：

因为CDH上弃用了Hive Cli，但因为一些企业任在使用，他们使用Cli连接其他程序容易出错，所以会警告提示。

只在Cli上查询是不会有WARN的，但如果将Cli的结果跟其他程序连接时，就会出现这样情况。

原因是CDH上运行的Hive加载了Spark的jar包到它的CLASSPATH下：

# add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" && !("$HIVE_SKIP_SPARK_ASSEMBLY" = "true") ]]
then
    sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
    CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
fi

有时需要重定向输出结果时，文件末尾会带这两个WARN，对数据处理不太友好