记一次Hive的失败事件

现象

root用户报错：Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
hue等账号：正常
所以排除是：表，hive等问题。

排查过程

首先，报错看日志

核心报错如下：

org.xml.sax.SAXParseException; systemId: file:///data0/yarn/nm/usercache/root/appcache/application_1545200343438_121382/container_e121_1545200343438_121382_01_000001/job.xml; lineNumber: 1214; columnNumber: 51; Character reference “&#0” is an invalid XML character.

到HDFS的目录下面去找：
hdfs://192.168.1.193:8020/user/root/.staging/job_1545200343438_121382/job.xml
（注意，当程序失败后，本目录会被删除回收【真不知道为啥HDFS也要被回收】），所以生命周期：提交HIVE查询，然后在失败之前（努力提交任务，重试两次）

我们定位到1214行

修复

去hive设置变量

set columns.comments=false;

select count(1)
from ods_business_backup.bb_babysitter_client_for_fred
limit 10;

一切正常