问题解决-hive使用spark引擎执行SQL时，yarn报错：java.lang.NoClassDefFoundError: org/antlr/runtime/tree/CommonTree

项目场景：

在Hive老版本中，Hive在执行HSQL语句时，默认的执行引擎是后台执行MR（MapReduce）任务；随着Spark的兴起，如今Hive版本都是使用spark引擎作为SQL语句的执行引擎，因为spark是基于内存的计算引擎，相比MR计算更加快速，更让大众所青睐。
环境描述：

名称	版本号
CDH	6.2.0
Hive	2.1.0
Spark	2.4.0

---

问题描述：

创建Hive外表

create  table if not exists stu(id int ,name string) row format delimited fields terminated by '\t';

查询数据条数

select count(*) from stu;

hive server日志中报错信息：

java.lang.RuntimeException: org.apache.thrift.transport.TTransportException: Invalid status-0
.......
Caused by: org.apache.thrift.transport.TTransportException: Invalid status-0

yarn页面任务报错信息：

java.lang.NoClassDefFoundError: org/antlr/runtime/tree/CommonTree

---

原因分析：

使用CDH6.x时，因为Hive后台使用的是spark作为执行引擎，有时会报以下问题；而在使用MR作为执行引擎时，报错消失，HSQL语句能够正常执行，并产生查询数据。
从hive shell执行结果报错，报的是spark Driver问题

从yarn页面找到执行任务，可以看出是没有找到类java.lang.NoClassDefFoundError: org/antlr/runtime/tree/CommonTree，说明缺少jar包。
至于缺少jar包的原因并没有找到，这个问题其实很诡异，以前安装CDH时，并未出现过该问题，hive使用spark引擎正常使用，而这次报错是对CDH进行了二次安装，由其他同事安装，我在使用时遇到的报错。所以缺包的根本问题没有找到，怀疑与hive和spark组件的安装顺序有关。

---

解决方案：

对于缺包的问题，当然就是找到对应的jar包，其实org/antlr/runtime/tree/CommonTree所在的jar在hive的lib库中包含。就是hive的lib下的antlr-runtime-3.5.2.jar。
可以通过命令进行查找该jar包

find / -name "antlr-runtime-*"

将hive的lib库下的antlr-runtime-3.5.2.jar拷贝到spark的lib库下

cp /opt/cloudera/parcels/CDH/lib/hive/lib/antlr-runtime-3.5.2.jar /opt/cloudera/parcels/CDH/lib/spark/lib/

重启spark和hive即可。

结语：如若文章有何不妥之处欢迎指正，谢谢！