Kettle连接Hadoop clusters 报错

最新推荐文章于 2024-09-12 20:06:28 发布
原创 最新推荐文章于 2024-09-12 20:06:28 发布 · 4.3k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

本文记录了使用Kettle 8.2连接Hadoop集群遇到的问题，包括9.1版本不兼容、配置XML文件问题以及缺少guava.jar导致的错误。通过覆盖XML配置文件、替换jar驱动和添加缺失的guava.jar，最终成功解决连接问题。

Kettle连接Hadoop clusters 报错

Kettle连接Hadoop 踩坑

记录一下自己Kettle连接Hadoop 的踩坑过程，以备后查。

hadoop环境

云虚拟机安装hadoop3.2，hbase2.2.6

9.1与8.2的区别

用Kettle9.1创建hadoop clusters时老是无法成功，草草查看了一下官方文档，貌似9.0以前的shim无法用于9.1的版本，因为翻q访问实在太慢，最终没有找到下载适配版本shim的地方，无奈放弃。

8.2连接hadoop

  1. 将服务器上*-site.xml文件覆盖到pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30下
  2. 用服务器上相应版本的jar驱动覆盖pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib、
    pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\client、pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\pmr版本
  3. 修改plugin.properties 中 active.hadoop.configuration，指向对应shime（hdp30）
  4. 启动spoon，在转换下创建hadoop clusters，配置如下：
最低0.47元/天 解锁文章
kettle9.0+ 连接Hadoop报错
x²＋(y－√³x²)²＝1的博客
06-03 1479
kettle bug
kettle与大数据组件（hdfs、hive、hbase）的连接
Gettle的博客
05-17 1972
准备工作： 涉及大数据组件：hadoop、zookeeper、hive、hbase 启动hadoop集群：start-all.sh 启动zookeeper：shbin/zkServer.shstart 启动hbase：bin/start-hbase.sh 启动hiveserver2：bin/hiveserver2 进入beeline查看端口开启情况：bin/beeline beeline>!connectjdbc:hive2://node1:10000（账号密码直接回车就行） ...
kettle连接hadoop.pdf
11-14
kettle连接hadoop.pdf kettle连接hadoop.pdf kettle连接hadoop.pdf
kettle连接hadoop报错问题
weixin_43995212的博客
11-27 2418
连接参数如下 报错截图： the hadoop file system url dose not match the shims core-site.xml 解决办法：将hadoop下etc/hadoop/下的所有xml配置配置文件，拷贝到kettle目录下（如下图标记的目录） 路径：data-integration\plugins\pentaho-big-data-plugin\hadoop...
kettle 连接Hadoop 遇错
anshenwa4859的博客
07-29 1107
kettle从windows中往hdfs中写文件 One 2016/07/19 14:14:53 - Spoon - 正在开始任务... 2016/07/19 14:14:53 - load_hdfs - 开始执行任务 2016/07/19 14:14:53 - load_hdfs - 开始项[Hadoop Copy Files] 2016/07/19 14:14:53...
KETTLE不能连接hadoop
m0_45502588的博客
01-14 1321
KETTLE不能连接hadoop 今天做KETTLE测试 发现kettle不能连接hadoop 看了一下教程： https://www.jianshu.com/p/258fef7c7dbe 发现要更新4个xml文件： 文件目录：$hadoop_home:etc/hadoop 1.hdfs-site.xml 2.core-site.xml 3.yarn-site.xml 4.mapred-site....
一百五十九、Kettle——Kettle9.2通过配置Hadoop clusters连接Hadoop3.1.3（踩坑亲测、附流程截图）
tiantang2renjian的博客
08-17 3870
Kettle9.2通过配置Hadoop clusters连接Hadoop3.1.3（踩坑亲测、附流程截图）
Kettle中创建Hadoop clusters中root directory access
weixin_45492179的博客
09-10 2385
root directory access不对的解决方案之一**正常应该是这样**把hadoop核心配置文件放入kettle目录修改 正常应该是这样 把hadoop核心配置文件放入kettle目录 路径: data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh514 修改 data-integration\plugins\pentaho-big-data-plugin\plugin.properties文件
kettle 9.x版本配置连接hadoop集群
github_39319229的博客
08-05 3639
配置hive连接 将hive驱动文件放在 $KETTLE_HOME/lib 目录下即可 配置hadoop连接 版本的支持及选择配置可参考官方文档 2.1 选择对应版本驱动 选择驱动文件，默认在**$KETTLE_HOME/data-integration/ADDITIONAL-FILES/drivers** 下 点击next 2.2 创建集群连接（先关闭kettle，重新启动，不然可能看不到Driver信息） 选择从集群下载的配置文件，其他信息按集群地址配置即可 提示为连接成功，查看原因.
解决spoon的hadoop cluster连不上
wuli_suan的博客
11-24 973
题外话，jdk不是1.8的要改一下，改成1.8的，要不然起不来spoon.bat，还有第一次建立完hadoop cluster全部都红或者警告三角的话，建议看看其他大佬的文章怎么启动spoon，不是直接连的，还有一步。回归正题，要出现上述报错，去查看已经替换的hadoop复制过来的文件，如core-site.xml等,看看里面设置有http-adress的地方,是否写错，名字和地址都对应hadoop-cluster要填的内容，端口port全都写8020，有些不改也行，不同的脑不同的情况。
kettle集群（cluster）在多个服务器上并发执行
07-29
kettle集群（cluster）在多个服务器上并发执行，文档详细移动，通过测试成功
kettle 将mysql的数据抽到HDFS上 报错（ Couldn‘t open file hdfs://bigdata01:9820/xx/xx.txt）不能浏览hdfs上的文件，解决办法
weixin_53709379的博客
09-12 604
kettle,mysql,hdfs,数据转换，kettle 将mysql的数据抽到HDFS上 报错（ Couldn't open file hdfs://bigdata01:9820/xx/xx.txt）不能浏览hdfs上的文件。 只需修改一步，立刻解决！！
kettle连接hbase
BrotherDong90的专栏
09-21 7239
org.apache.hadoop.hbase.MasterNotRunningException:The node /hbase-unsecure is not in Zookeeper. It should have been written by the master.Check the value configured in "zookeeper.znode.parent".There c
kettle输出数据到hadoop 的hdfs 系统，错误总结
星月情缘的博客
10-16 6628
         最近自己在练习使用kettle时，想把MySQL中的数据同步到Hadoop中，就测试了一下，到最后发现怎么也连接不上hadoop集群，好不容易连接上了，结果文件又无法写入到指定的目录中，一直提示权限不够，很郁闷啊。最后终于解决了，分享一下心得。        1. kettle 安装在此不讲述，本文是以kettle 和Hadoop环境都已经部署好了，可以正常使用的环境。   ...
kettle添加hadoop cluster时报错Caused by: java.lang.IllegalArgumentException: Does not contain a valid hos...
weixin_30585437的博客
07-27 540
完整报错是： Caused by: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: hadoop:password@node56:9000 解决方案： 我在添加hadoop cluster的时候报错如上，去掉了用户名和密码就好了~~~~~~~~~，出现如下就可以使...
解决：kettle连接hadoop 2.20后，导致不能连接Hive的问题
03-06 5041
kettle如何连接hadoop 2.20,参见  “Kettle（PentahoDataIntegration）安装Hadoop-2.2.0插件” 原本官方下载的kettle的4.4版本，默认配置是可以链接hive（不需要拷贝问题），但配置hadoop2.20的文件进来后，无法链接 依据错误提示，明显是kettle的链接hive的驱动有问题，思考为了链接hadoop
解决WebSpoon9.0无法连接Hadoop集群的问题
矿泉水瓶子
01-29 1796
最近再搞一个kettle的集成工具webspoon9.0，具体部署方法可以见主页之前的文章，在后期测试过程中，遇到了一些问题，本篇文章主要记录如何解决无法连接hadoop集群的问题
kettle8.2 连接 cdh6.3.2 root directory access 问题记录
10-28 1718
因业务需要，切换到cdh6.3.2平台，虽然用起来 不是很熟悉，但总体还是能快速入手spark、hive及sqoop等使用。但导数据时发现sqoop其实并不见得那么好用，反而不如使用可视化界面的kettle(有可能是数据体量限制，这点我至今没想明白sqoop与kettle之间的差异，欢迎指正)。 kettle8.2已经具备使用经验，对接过mysql mssql 等，并且输出到usdp平台的parquet文件，一切正常。之前思路是 业务平台数据--kettle8.2-parquet-hive外部表
kettle写入hdfs报错问题--HA集群主节点写错导致无法创建目录
zwahut的专栏
08-06 511
报错信息如下，解决办法就是找到真正的active的主节点ip，修改后即可
User Home Directory Access如何解决
最新发布
12-26
### 如何解决用户主目录访问权限问题 #### 检查并修复主目录权限设置 当遇到 `could not chdir to home directory` 或者 FTP 连接失败提示 "530 User cannot log in, home directory inaccessible" 时，通常是因为用户的主目录权限配置不正确。应先确认 `/home/username` 文件夹及其内部文件的拥有权和访问模式是否适当。 对于 Linux 系统中的普通用户账户来说，理想的主目录权限应当如下： - 主目录属于该特定用户以及其主要组； - 权限位通常是 `drwx------` (即700)，这意味着只有所有者可以读取、写入及进入此目录； 如果发现权限异常，则可以通过命令修正： ```bash chown username:groupname /home/username chmod 700 /home/username ``` 针对某些特殊情况下的权限调整[^2]，比如整个 `/home` 下面某个子目录被意外更改为了其他用户的权限，这可能会阻止系统上的所有用户正常登录。此时应该恢复默认状态： ```bash chown root:root /home/subdirectory chmod 555 /home/subdirectory ``` #### 验证 SELinux 设置影响 有时即使常规权限看起来没问题，SELinux 安全策略也可能阻碍对主目录的访问。可通过临时禁用 SELinux 测试这个问题是否存在关联，并考虑长期解决方案如定义合适的上下文标签来允许合法操作而不违反安全政策[^1]。 #### 使用正确的 shell 路径 确保指定给用户的 Shell 是有效的可执行程序路径。例如，在创建新用户时不慎指定了不存在或不可达的位置作为默认Shell也会引发类似的错误消息。检查/etc/passwd 中的相关条目以保证指向的是实际存在的shell解释器，像这样： ```plaintext username:x:uid:gid:User Name:/home/username:/bin/bash ``` 通过上述措施能够有效处理大部分由于权限不当引起的无法切换至个人工作空间的情况。当然具体实施前最好备份现有数据以防万一，并仔细阅读官方文档获取更详尽指导[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值