hive -e 是执行指定SQL,-f 是执行指定HQL文件。
hive -e / -f 会出现WRN:
WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked.
WARN: Please see http://www.slf4j.org/codes.html#release for an explanation.
问题:
因为CDH上弃用了Hive Cli,但因为一些企业任在使用,他们使用Cli连接其他程序容易出错,所以会警告提示。
只在Cli上查询是不会有WARN的,但如果将Cli的结果跟其他程序连接时,就会出现这样情况。
原因是CDH上运行的Hive加载了Spark的jar包到它的CLASSPATH下:
# add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" && !("$HIVE_SKIP_SPARK_ASSEMBLY" = "true") ]]
then
sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
fi
有时需要重定向输出结果时,文件末尾会带这两个WARN,对数据处理不太友好