Kettle连接Hadoop clusters 报错

最新推荐文章于 2024-09-12 20:06:28 发布

wlm_wun

最新推荐文章于 2024-09-12 20:06:28 发布

阅读量4.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：笔记文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/wlm_wun/article/details/109302859

本文记录了使用Kettle 8.2连接Hadoop集群遇到的问题，包括9.1版本不兼容、配置XML文件问题以及缺少guava.jar导致的错误。通过覆盖XML配置文件、替换jar驱动和添加缺失的guava.jar，最终成功解决连接问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Kettle连接Hadoop 踩坑

记录一下自己Kettle连接Hadoop 的踩坑过程，以备后查。

云虚拟机安装hadoop3.2，hbase2.2.6

用Kettle9.1创建hadoop clusters时老是无法成功，草草查看了一下官方文档，貌似9.0以前的shim无法用于9.1的版本，因为翻q访问实在太慢，最终没有找到下载适配版本shim的地方，无奈放弃。

将服务器上*-site.xml文件覆盖到pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30下
用服务器上相应版本的jar驱动覆盖pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib、
pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\client、pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\pmr版本
修改plugin.properties 中 active.hadoop.configuration，指向对应shime（hdp30）
启动spoon，在