Kettle连接Hadoop clusters 报错

本文记录了使用Kettle 8.2连接Hadoop集群遇到的问题,包括9.1版本不兼容、配置XML文件问题以及缺少guava.jar导致的错误。通过覆盖XML配置文件、替换jar驱动和添加缺失的guava.jar,最终成功解决连接问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Kettle连接Hadoop 踩坑

记录一下自己Kettle连接Hadoop 的踩坑过程,以备后查。

hadoop环境

云虚拟机安装hadoop3.2,hbase2.2.6

9.1与8.2的区别

用Kettle9.1创建hadoop clusters时老是无法成功,草草查看了一下官方文档,貌似9.0以前的shim无法用于9.1的版本,因为翻q访问实在太慢,最终没有找到下载适配版本shim的地方,无奈放弃。

8.2连接hadoop

  1. 将服务器上*-site.xml文件覆盖到pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30下
  2. 用服务器上相应版本的jar驱动覆盖pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib、
    pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\client、pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\pmr版本
  3. 修改plugin.properties 中 active.hadoop.configuration,指向对应shime(hdp30)
  4. 启动spoon,在
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值