如何使用Spoon连接data-integration-server并在服务器上执行转换

原创 已于 2024-09-04 10:31:06 修改 · 906 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#服务器 #运维 #大数据

于 2024-09-04 10:14:53 首次发布

1.建立连接

2.新建转换或任务

3.右键[子服务器]，新建一个服务器连接(data-integration-server服务器的连接信息)

4.右键[Run configurations],新建一个执行连接,勾选相应的选项即可:

5.选择服务器运行即可!

6.最后，你可以通过服务器端的WEB查看执行日志:

http://你的服务器ip:8080/pentaho/kettle/status

 

滴里搭拉
关注
Kettle-开源的ETL工具集-实现SqlServer到Mysql表的数据同步并部署在Windows服务器上
BADAO_LIUMANG_QIZHI的博客
08-24 3045
场景 kettle 中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后 以一种指定的格式流出。是一款由纯Java编写的ETL工具，绿色无需安装，数据抽取高效稳定(数据迁移工具)。 业务需要，从A系统的Sqlserver数据库的某个表或者视图，同步到B系统的Mysql的某个表。 Sqlserver的表和mysql表的结构一致。 在SqlServer数据库中新建一个表student 设置id为主键 然后在另一个Mysql表新建表student 结构一样，i
kettle spoon join连接
你渴望力量吗？
12-06 711
kettle spoon merge join 连接 弹出的警告内容大意为输入的数据必须根据 key field 字段进行排序，否则最终结果可能会出现丢失 d.Microsoft Excel output 内容 点击 get fields 获取输出字段 注：能够得出最终结果的原因是采用的两个 Table input 中的内容都是按照 merge join 中的 key field 字段进行排序的，座椅最终结果并没有缺失 其余内容保持不变关闭打开的保存的最终结果的excel，继续运行转
Spoon.Studio 简单使用说明
08-19
找了很久都没有找到使用说明，自己花点时间写点吧。满足一般性需求。
数据集成工具使用手册
最新发布
gitblog_00156的博客
11-20 1019
该项目位于 GitHub 上，地址是 [https://github.com/young-datafan-ooooo1/data-integration.git](https://github.com/young-datafan-ooooo1/data-integration.git)，其典型的目录结构展示了一款数据集成解决方案的基本布局。尽管具体的文件列表未直接提供，但通常此类项目会有以下基本组
利用Kettle实现遗留数据库迁移
汪云飞记录本
02-26 566
1. Kettle的简单介绍 Kettle(现名Data Integration)是一款使用Java编写的功能强大的ETL(Extract Transform and Load)工具，支持关系型数据库(PostgreSQL、MySQL、Oracle等)、非关系型数据库(MongoDB、ElasticSearch等)以及文件之间的大规模数据迁移。 2. 常用组件 Kettle提供...
3.4 数据预处理（一） - 数据集成（Data Integration）
Orange_Spotty_Cat的博客
08-08 1万+
简介 数据集成（Data Integration）是一个数据整合的过程。通过综合各数据源，将拥有不同结构、不同属性的数据整合归纳在一起，就是数据集成。由于不同的数据源定义属性时命名规则不同，存入的数据格式、取值方式、单位都会有不同。因此即便两个值代表的业务意义相同，也不代表存在数据库中的值就是相同的。因此需要数据入库前进行集成，去冗余，保证数据质量。 一句话解释版本： 数据集成是将不同来源的...
Spoon使用 新建转换、新建作业
yuanyuan540的博客
08-28 4036
一、新建转换 1. 首先需要新建一个“转换”。 2. 在“主对象树”选项中，选择DB新建数据库连接，将源数据库和目标数据库都创建进去。 3.在“核心对象”选项中选择需要的操作。 “输入——表输入”，获取了源数据库的数据。 “输出——插入\更新”将数据流中的数据写入目标数据库。 设计完成后，点击另存为就会生成一个.ktr的文件。 二、新建作业 1.设计完成“转换”后，新建一个“作业”。（用来执行“转换”） 2. 使用“作业”、“转换”两个对象。 ...
Kettle工具简单使用(spoon)
qq_57404736的博客
03-21 1万+
1、添加测试数据 在navicat中随便找个表当做被转化的数据进行测试，以下表为例： 在SQL server数据库中创建表 2、下载spoon软件 下载路径：https://download.youkuaiyun.com/download/qq_57404736/85013576 打开文件夹，双击spoon.bat打开软件 3、 配置输入和输出文件 双击左边输入，然后找到表输入，拖到右侧工作区 双击工作区的表输入，进行配置 点击确定，配置完毕 点击获取
data-integration_7.1使用手册
10-13
《data-integration_7.1使用手册》是一份关于Pentaho Data Integration (PDI) 的详细使用指南，该软件又名Kettle。PDI是ETL(Extract, Transform, Load)工具集，旨在帮助用户高效地整合各种数据资源，从多个数据源中...
Pentaho-Data-Integration-完全自学手册.2016.12.11
06-19
- **Data Integration Server**：专用的ETL服务器，用于管理和执行ETL作业。 #### 二、组成部分与概念模型 - **组成部分**：主要包括**Job**（工作）和**Transformation**（转换）。 - **Job（工作）**：基于工作...
kettle连接sqlserver连不上-jtds.jar包
04-12
在IT领域，Kettle（又称Pentaho Data Integration或PDI）是一款强大的数据集成工具，它允许用户通过图形化界面来处理和转换数据。在尝试使用Kettle连接SQL Server数据库时，可能会遇到一些问题，特别是在Kettle的...
Kettle(PDI-Pentaho Data Integration)7.1安装与性能测试
dlke03的博客
02-12 1822
Windows环境安装 安装版本：7.1 基础环境：JDK1.8u144 下载路径：https://sourceforge.net/projects/pentaho/files/Data Integration/ 解压缩即可使用，绿色无污染 SqlServer连接 下载路径http://www.microsoft.com/zh-cn/download/details.aspx?id=11774，解...
pentaho kettle data integration 教程
10-25
1 kettle_part1 2kettle_part2 3kettle培训手册 4kettel使用培训文档ppt
data-integration.zip(kettle开发工具)
07-06
data-integration.zip!
Kettle Spoon入门教程
热门推荐
技术交流
09-05 6万+
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。其中，Spoon是Kettle中的一个组件，其他组件有PAN，CHEF，Encr和KITCHEN等。Spoon通过图形化的页面，方便直观的让你完成数据转换的操作。1、安装配置点我下载最新版本是7.1，小编这里使用的是6.1。下载完毕后，解压即可。因为是Java编写的，需要jdk环
spoon工具的常用基础操作
qq_43583887的博客
06-02 5408
先创建一个作业，这个作业流程，包括进行设置变量转换，查询结果输出转换，方便后续循环。整个流程写完后，执行作业5_执行整个流程，成功后，可以在数据库查看结果。，新建一个转换，excel表输入然后复制记录到结果，保存转换文件。这三个用户下 都有一张emp表 分别是 三个部门的用户信息。，新建一个数据库连接，变量命名用户名和密码。成功执行后，可以到保存的excel位置进行查看。emp表输入，可以进行预览查看数据有没有过来。输出到一直excel表，运行结果输出。，新建一个转换，拖拽。
基于Kettle开发的web版数据集成开源工具(data-integration)-介绍篇
01-04 7456
kettle web版开源工具分享
ETL data-integration 9.3 Spoon 启动找不到javaw.exe
caoniuniu25的专栏
11-10 824
下载链接：https://pan.baidu.com/s/140c3LdIXP3frPIWjDidbXA。本机的java配置正常。仔细看错误提示，路径中有两个bin，所以导致找不到。打开set-pentaho-env.bat文件，将60行，修改一下。启动时直接报错，提示找不到javaw.exe。
在Pentaho DataIntegration中，如何设置Carte服务并利用Pan执行器来执行集群部署下的转换任务？
10-27
参考资源链接：[Pentaho DataIntegration 自学指南：Kettle环境搭建与基础操作](https://wenku.youkuaiyun.com/doc/72y7ufarkv?utm_source=wenku_answer2doc_content) 为了深入理解Pentaho DataIntegration的集群部署和任务执行，建议查阅《Pentaho DataIntegration 自学指南：Kettle环境搭建与基础操作》。该手册详细介绍了如何利用Carte服务实现Kettle的集群部署，并通过Pan执行器来执行转换任务。 首先，Carte作为Kettle的一个组件，它允许你以集群的形式部署转换任务，提高处理数据的能力和系统的可用性。在进行集群部署之前，需要确保已经搭建好了Pentaho DataIntegration的单机环境。 接下来，按照以下步骤配置Carte服务： 1. 解压Carte的安装包到服务器上。 2. 配置carte.xml文件，设置服务器的IP地址、端口、日志级别、以及工作节点等参数。 3. 启动Carte服务，可以使用命令行来启动，例如：`carte.sh carte.xml` 或者 `carte.bat carte.xml`。 4. 确认服务是否启动成功，可以通过浏览器或者使用命令行工具检查Carte的Web服务是否可访问。 一旦Carte服务配置完成，你就可以通过Pan执行器来执行转换任务： 1. 使用Spoon工具创建一个转换，并保存为XML文件。 2. 利用Pan执行器通过命令行执行转换任务，例如： ```bash pan.sh --param:server=carte的IP地址 --param:port=Carte的端口 --file=转换文件路径 --level=日志级别 ``` 3. 查看转换的执行结果，可以在Carte服务的日志中进行检查，或者设置转换输出到特定的文件中查看。 通过Carte服务的集群部署和Pan执行器的使用，可以有效地实现Kettle的分布式处理，提高数据处理的效率和稳定性。《Pentaho DataIntegration 自学指南：Kettle环境搭建与基础操作》手册不仅包含了Carte和Pan的配置和使用方法，还提供了大量的示例和实践指南，帮助用户在实际应用中更高效地解决问题。 参考资源链接：[Pentaho DataIntegration 自学指南：Kettle环境搭建与基础操作](https://wenku.youkuaiyun.com/doc/72y7ufarkv?utm_source=wenku_answer2doc_content)
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值