kettle之数据库连接-Generic database连接hive(CDH版)

最新推荐文章于 2024-02-27 15:41:53 发布

原创

最新推荐文章于 2024-02-27 15:41:53 发布 · 1.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kettle #hive #jdbc

在使用Kettle7.1版本通过jdbc连接Hive时遇到错误，问题可能出在驱动包版本不匹配。对于org/apache/thrift/TException错误，解决方案是使用CDH集群中hive-jdbc-1.1.0-cdh5.5.0-standalone.jar。而对于org.apache.hadoop.conf.Configuration错误，则需添加hadoop-common-2.6.0-cdh5.5.0.jar来解决。

版本：kettle7.1、hive-common-1.1.0-cdh5.5.0

1、创建连接

2、org/apache/thrift/TException

3、org.apache.hadoop.conf.Configuration

1、创建连接

当我们想通过jdbc方式连接hive时，可以配置一个通用的一般数据连接Generic database，并将驱动包拷贝至libswt/linux/x86_64即可。

2、org/apache/thrift/TException

如果报错：

2023/06/26 10:55:59 - 表输入.0 - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : An error occurred, processing will be stopp
ed: 
2023/06/26 10:55:59 - 表输入.0 - Error occurred while trying to connect to the database
2023/06/26 10:55:59 - 表输入.0 - 
2023/06/26 10:55:59 - 表输入.0 - Error connecting to database: (using class org.apache.hive.jdbc.HiveDriver)
2023/06/26 10:55:59 - 表输入.0 - org/apache/thrift/TException

是因为驱动包的版本不对，因为我们连接的是cdh的hive，所以需要导CDH集群目录下拷贝hive的驱动包，