HiveJDBC与其他JDBC一起使用时出现java.lang.IllegalArgumentException: Bad URL format

最新推荐文章于 2024-06-09 16:15:40 发布

原创最新推荐文章于 2024-06-09 16:15:40 发布 · 3.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#mysql #jdbc #hive #异常

大数据学习之路同时被 3 个专栏收录

39 篇文章

订阅专栏

Hive

8 篇文章

订阅专栏

异常与错误

7 篇文章

订阅专栏

本文介绍了一个关于在Java程序中同时使用Hive和MySQL数据库时遇到的问题及解决方案。当通过JDBC访问MySQL时，由于Hive JDBC驱动的不当实现导致出现BadURLformat异常。文中提供了两种解决方法：一是升级到新版本的Hive JDBC驱动；二是修改获取连接的方法。

问题描述：

程序中需要使用JDBC的方式同时访问Hive和MySQL，发现在获取MySQL连接的时候（DriverManager.getConnection方法）出现Hive的类中的Bad URL format异常。

代码如下：

 public Connection getMySqlConn() {
        Connection conn = null;
        try {
            Class.forName("com.mysql.jdbc.Driver");
            conn = DriverManager.getConnection(ConstantUtil.mysqlUrl, ConstantUtil.mysqlUsername, ConstantUtil.mysqlPassword);
        } catch (ClassNotFoundException e) {
            logger.error(e.getMessage(), e);
        } catch (SQLException e) {
            logger.error(e.getMessage(), e);
        }
        return conn;
    }

异常如下：

java.lang.IllegalArgumentException: Bad URL format
        at org.apache.hive.jdbc.Utils.parseURL(Utils.java:185)
        at org.apache.hive.jdbc.HiveConnection.<init>(HiveConnection.java:84)
        at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:104)
        at java.sql.DriverManager.getConnection(DriverManager.java:664)
        at java.sql.DriverManager.getConnection(DriverManager.java:247)
        at com.xxx.util.MySqlUtil.getMySqlConn(MySqlUtil.java:33)
        at com.xxx.interceptor.TransformInterceptor.refreshApp(TransformInterceptor.java:151)
        at com.xxx.interceptor.TransformInterceptor.initialize(TransformInterceptor.java:42)
        at org.apache.flume.interceptor.InterceptorChain.initialize(InterceptorChain.java:74)
        at org.apache.flume.channel.ChannelProcessor.initialize(ChannelProcessor.java:68)
        at org.apache.flume.source.PollableSourceRunner.start(PollableSourceRunner.java:70)
        at org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:249)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)

原因分析：

DriverManager.getConnection方法会使用url去尝试访问每个注册的JDBCDriver的connect方法，而JDBC的规范中要求该方法要判断url是否能够处理，不能处理要返回null。
然而，hive-jdbc在0.11.0版本中（具体受影响的版本范围未分析），调用其connect方法时，在url前缀非hive的情况下，是直接抛出IllegalArgumentException，而这个异常DriverManager并不会捕获，导致程序直接报错，不再尝试正确的MySQL的Driver。

解决办法：

（1）新版本的HiveJdbcDriver已修改这个问题。即先判断url前缀是否可以处理（处理不了返回null），并且将parseURL的异常修改为SQLException的子类（DriverManager会捕获）。
（2）将调用的代码改为，先获取你需要的Driver，再调用具体Driver的connect方法，这样DriverManager就不会去尝试调用每个Driver的connect方法了。代码如下：

public Connection getMySqlConn() {
        Connection conn = null;
        try {
            Class.forName("com.mysql.jdbc.Driver");
            Driver driver = DriverManager.getDriver(ConstantUtil.mysqlUrl);
            java.util.Properties info = new java.util.Properties();
            info.put("user", ConstantUtil.mysqlUsername);
            info.put("password", ConstantUtil.mysqlPassword);
            conn = driver.connect(ConstantUtil.mysqlUrl, info);
        } catch (ClassNotFoundException e) {
            logger.error(e.getMessage(), e);
        } catch (SQLException e) {
            logger.error(e.getMessage(), e);
        }
        return conn;
    }