记录一个因 MYSQL 服务端和JDBC驱动版本不一致导致 HMS 启动失败问题

记录一个因 MYSQL 服务端和JDBC驱动版本不一致导致 HMS 启动失败问题

1. 问题现象

某运维同学安装 CDH 后 HIVE 服务报警，查看发现 HS2 的金丝雀检查失败，进一步查看发现，HS2 无法创建默认数据库，且 HMS 启动失败。遂找到笔者进行排查。

2 问题原因

按照老套路，直接通过 CM WEB UI 查看 HMS 日志, 可以清晰发现，HMS 启动后尝试创建默认数据库（即 hive 的 default database)时，有报错：

RetryingHMSHandler [pool-5-thread-194]: Retrying HMSHandler after 2000 ms (attempt 4 of 10) with error: javax.jdo.JDODataStoreException: You have an error in your SQL syntax; check the manual tha t corresponds to your MySQL server version for the right syntax to use near 'OPTION SQL_SELECT LIMIT=DEFAULT' at line 1

该问题直接指向了 SQL 语法错误，其底层原因其实是，HMS 底层的 MYSQL 数据库和HMS使用的 MYSQL JDBC 驱动版本不匹配，比如在上述环境中：

• mysql 数据库版本: mysql-5.6.36-linux-glibc2.5-x86_64.tar.gz；
• mysql 驱动版本为：mysql-connector-java-5.1.43-bin.jar；
• 由于 5.6 之前的老版本的 MYSQL JDBC 驱动类 com.mysql.jdbc.Statement 中有显示调用代码 “SET OPTION SQL_SELECT_LIMIT=DEFAULT”，而 MYSQL 服务端自 5.6 版本之后更改了 SET 配置参数的调用语法，不再支持 “SET OPTION SQL_SELECT_LIMIT=DEFAULT”，而只支持 “SET SQL_SELECT_LIMIT=DEFAULT”，所以当使用 5.6 之后的 MYSQL 服务端，而对应的MYSQL JDBC 驱动是 5.6 之前的版本，就会报上述错误。

3 问题解决

删除老版本（5.6之前） MYSQL JDBC 驱动，并替换使用新版本的 MYSQL JDBC 驱动（5.6之后，比如 8.0)，重启 HIVE 服务，即可解决问题。

• MYSQL 5.0 版本JDBC 驱动类相关源码如下com.mysql.jdbc.Statement#execute：
• MYSQL 8.0 版本JDBC 驱动类相关源码如下com.mysql.cj.jdbc.ConnectionImpl#setSessionMaxRows：
  

4 参考链接与详细日志

# 参考链接：https://bugs.mysql.com/bug.php?id=66659
# 详细日志：
RetryingHMSHandler [pool-5-thread-194]: Retrying HMSHandler after 2000 ms (attempt 4 of 10) with error: javax.jdo.JDODataStoreException: You have an error in your SQL syntax; check the manual tha t corresponds to your MySQL server version for the right syntax to use near 'OPTION SQL_SELECT LIMIT=DEFAULT' at line 1
at org.datanucleus.api.jdo. NucleusJDOHelper.getJDOExceptionForNucleusException(NucleusJDOHelper.java:451)
at org.datanucleus.api.jdo.JDOQuery.execute(JDOQuery.java:275)
at org.apache.hadoop