学习笔记:从0开始学习大数据-18.kettle安装使用

Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。
Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。
Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。

ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这个工具真的很强大,支持图形化的GUI设计界面,然后可以以工作流的形式流转,在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现,其中最主要的我们通过熟练的应用它,减少了非常多的研发工作量,提高了我们的工作效率

安装:

1.下载解压

https://community.hitachivantara.com/docs/DOC-1009855 下载 Data Integration 7.1

解压后可以得到目录Data-Integration

2.运行Data-Integration目录下的sqoop.sh

提示未安装webkitgtk

但是 yum install webkitgtk不能成功

后来 运行了以下下载的包成功了

使用csdn下载的 webkitgtk-2.4.9-3.el7.nux.x86_64.rpm

#rpm -ivh webkitgtk-2.4.9-3.el7.nux.x86_64.rpm
3.运行sqoop.sh

5/11/11 16:31:19 - dummy.0 - Released server socket on port 0 2025/11/11 16:31:19 - lzr - New database connection defined 2025/11/11 16:31:19 - 表输入.0 - Connected to database... 2025/11/11 16:31:19 - D:\Kettle_ETL\Kettle_Trans\采集到INT层\测试.ktr : 测试 - 步骤 [表输入.0] 初始化不完全,有缺陷. 2025/11/11 16:31:19 - D:\Kettle_ETL\Kettle_Trans\采集到INT层\测试.ktr : 测试 - 步骤 [dummy.0] 初始化不完全,有缺陷. 2025/11/11 16:31:19 - D:\Kettle_ETL\Kettle_Trans\采集到INT层\测试.ktr : 测试 - 转换已经分配了 2 线程 和 1 列组. 2025/11/11 16:31:19 - 表输入.0 - 开始运行... 2025/11/11 16:31:19 - dummy.0 - 开始运行... 2025/11/11 16:31:19 - 表输入.0 - SQL query : select * from equip_depre_view 2025/11/11 16:31:19 - 表输入.0 - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : Unexpected error 2025/11/11 16:31:19 - 表输入.0 - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : org.pentaho.di.core.exception.KettleDatabaseException: 2025/11/11 16:31:19 - 表输入.0 - An error occurred executing SQL: 2025/11/11 16:31:19 - 表输入.0 - select * from equip_depre_view 2025/11/11 16:31:19 - 表输入.0 - The connection is closed. 2025/11/11 16:31:19 - 表输入.0 - 2025/11/11 16:31:19 - 表输入.0 - at org.pentaho.di.core.database.Database.openQuery(Database.java:1763) 2025/11/11 16:31:19 - 表输入.0 - at org.pentaho.di.trans.steps.tableinput.TableInput.doQuery(TableInput.java:236) 2025/11/11 16:31:19 - 表输入.0 - at org.pentaho.di.trans.steps.tableinput.TableInput.processRow(TableInput.java:140) 2025/11/11 16:31:19 - 表输入.0 - at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62) 2025/11/11 16:31:19 - 表输入.0 - at java.lang.Thread.run(Thread.java:748) 2025/11/11 16:31:19 - 表输入.0 - Caused by: com.microsoft.sqlserver.jdbc.SQLServerException: The connection is closed. 2025/11/11 16:31:19 - 表输入.0 - at com.microsoft.sqlserver.jdbc.SQLServerException.makeFromDriverError(SQLServerException.java:250) 2025/11/11 16:31:19 - 表输入.0 - at com.microsoft.sqlserver.jdbc.SQLServerConnection.checkClosed(SQLServerConnection.java:2158) 2025/11/11 16:31:19 - 表输入.0 - at com.microsoft.sqlserver.jdbc.SQLServerConnection.createStatement(SQLServerConnection.java:5435) 2025/11/11 16:31:19 - 表输入.0 - at com.microsoft.sqlserver.jdbc.SQLServerConnection.createStatement(SQLServerConnection.java:5050) 2025/11/11 16:31:19 - 表输入.0 - at org.pentaho.di.core.database.Database.openQuery(Database.java:1735) 2025/11/11 16:31:19 - 表输入.0 - ... 4 more 2025/11/11 16:31:19 - 表输入.0 - Finished reading query, closing connection. 2025/11/11 16:31:19 - 表输入.0 - 完成处理 (I=0, O=0, R=0, W=0, U=0, E=1) 2025/11/11 16:31:19 - D:\Kettle_ETL\Kettle_Trans\采集到INT层\测试.ktr : 测试 - 转换被检测 2025/11/11 16:31:19 - D:\Kettle_ETL\Kettle_Trans\采集到INT层\测试.ktr : 测试 - 转换正在杀死其他步骤! 2025/11/11 16:31:19 - dummy.0 - 完成处理 (I=0, O=0, R=0, W=0, U=0, E=0)
最新发布
11-12
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值