数据转换的艺术：Kettle(PDI)带来的无限可能与我的实战经验分享（一）

于 2025-03-06 16:17:33 发布
阅读量1k 收藏 9
点赞数 22
分类专栏： kettle（PDI）数据转换的艺术 后端 数据库 文章标签： 数据库 kettle etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jusu123/article/details/146073320
版权

一、Kettle(PDI)简介

Kettle（Pentaho Data Integration, PDI）是一个强大的开源ETL工具，它通过提供图形化界面让用户能够轻松地设计和管理数据集成流程。在Kettle中，控件通常被称为步骤（Steps）或作业项（Job Entries），它们是构建转换（Transformation）和作业（Job）的基本单元。以下是关于Kettle(PDI)的一些常见控件的详细介绍：

转换中的步骤（Steps）

  1. 表输入（Table Input）
    • 从数据库表中读取数据。支持SQL查询来选择特定的数据。
  2. 文本文件输入/输出（Text File Input/Output）
    • 用于导入或导出大型文本文件，如CSV、TXT等。可以配置源平面文件的类型、行分隔符和编码等属性。
  3. 过滤记录（Filter Rows）
    • 根据条件筛选记录，例如只保留满足某些业务规则的数据行。
  4. 排序记录（Sort Rows）
    • 对数据流中的记录进行排序，可以根据一个或多个字段进行升序或降序排列。
  5. 合并记录（Merge Rows）
    • 合并两个不同的数据流，通常用于比较新旧数据集之间的差异。
  6. JavaScript修改（Modified JavaScript Value）
    • 提供了自定义逻辑的功能，可以用来计算新的字段值、执行复杂的数据转换等。
  7. 字段选择（Select Values）
    • 允许选择、重命名、移除或重新排序输入流中的字段，对于数据清洗非常有用。
  8. 分组（Group By）
    • 对输入数据进行分组汇总，可以基于一个或多个字段对数据进行聚合计算，如求和、计数等。
  9. 数据库查询（Database Lookup）
    • 在转换过程中查询数据库以获取额外的信息，这对于丰富原始数据集很有帮助。
  10. 表输出（Table Output）
    • 将处理后的数据写入目标数据库表中，提供了丰富的选项来控制如何插入或更新记录。

作业中的作业项（Job Entries）

  1. 启动（Start）
    • 作业的开始点，表示作业从此处开始执行。
  2. 转换（Transformation）
    • 可以在一个作业中运行一个或多个转换，允许复杂的流程控制。
  3. 成功（Success）
    • 表示作业结束，并且所有之前的步骤都成功完成。
  4. Shell 或 Execute a Process
    • 允许在作业中执行外部命令或脚本，如shell脚本、批处理文件等。
  5. 邮件（Mail）
    • 发送电子邮件通知，可以在作业完成后发送状态报告或警报。
  6. 等待（Wait For SQL)
    • 等待直到某个SQL查询返回结果，常用于确保前一个操作已经完成。

特殊组件

  • 变量（Variables）
    • 变量可以在整个转换或作业范围内共享数据，使得配置更加灵活。可以通过设置变量的值来动态控制流程的行为。
  • 参数（Parameters）
    • 参数允许用户在运行时为转换或作业提供输入值，增加了使用的灵活性。
  • 日志记录（Logging）
    • Kettle提供了详细的日志记录功能，可以帮助追踪ETL过程中的错误和性能瓶颈。

插件

Kettle还支持插件扩展，这使得它可以适应各种特殊的数据源和目标。例如，有专门针对Hadoop、MongoDB、Redis等大数据技术的插件，极大地增强了其兼容性和应用范围。

二、任务背景介绍

1、背景
为了确保系统的安全性和功能完整性，需要将最新的接口权限数据从Excel文件导入到数据库中。这些权限数据定义了不同角色对系统内各个菜单和功能的访问权限，是保障系统安全性的重要组成部分。
2、数据来源
  • 文件类型: Excel 文件
  • 文件内容: 包含三列数据——权限标识（Permission ID）、菜单ID（Menu ID）、权限标识名称（Permission Name）。
  • 文件示例:
权限标识    菜单ID    权限标识名称
perm_001   menu_001  查看用户信息
perm_002   menu_002  编辑用户资料
3、相关数据库表
/*
 Navicat Premium Data Transfer

 Source Server         : 10.13.3.17
 Source Server Type    : MySQL
 Source Server Version : 80032
 Source Host           : 10.13.3.17:3306
 Source Schema         : swp_base

 Target Server Type    : MySQL
 Target Server Version : 80032
 File Encoding         : 65001

 Date: 06/03/2025 10:24:12
*/

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for us_menu_perm
-- ----------------------------
DROP TABLE IF EXISTS `us_menu_perm`;
CREATE TABLE `us_menu_perm`  (
  `id` bigint(0) NOT NULL COMMENT 'ID',
  `menu_id` bigint(0) NULL DEFAULT NULL COMMENT '菜单ID',
  `perm_id` bigint(0) NULL DEFAULT NULL COMMENT '权限ID',
  `perms` varchar(1000) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '权限标识',
  `sort` int(0) NULL DEFAULT NULL COMMENT '排序',
  `type` int(0) NULL DEFAULT 0 COMMENT '类型',
  `state` int(0) NULL DEFAULT 0 COMMENT '状态',
  `is_deleted` tinyint(1) UNSIGNED ZEROFILL NULL DEFAULT 0 COMMENT '是否删除',
  `create_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '创建时间',
  `create_user` bigint(0) UNSIGNED NULL DEFAULT NULL COMMENT '创建人',
  `update_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '更新时间',
  `update_user` bigint(0) UNSIGNED NULL DEFAULT NULL COMMENT '更新人',
  `version` int(0) NULL DEFAULT 1 COMMENT '版本',
  `tenant_id` bigint(0) NULL DEFAULT NULL COMMENT '租户',
  `trace_id` varchar(60) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT 'traceId',
  `create_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '创建人',
  `update_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '更新人',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = DYNAMIC;

-- ----------------------------
-- Table structure for us_menus
-- ----------------------------
DROP TABLE IF EXISTS `us_menus`;
CREATE TABLE `us_menus`  (
  `id` bigint(0) NOT NULL AUTO_INCREMENT COMMENT '权限ID',
  `name` varchar(50) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NOT NULL DEFAULT '' COMMENT '权限名称',
  `code` varchar(50) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT 'CODE',
  `description` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '描述',
  `level` int(0) NULL DEFAULT NULL COMMENT '等级',
  `super_menu_id` bigint(0) NULL DEFAULT NULL COMMENT '上级权限ID',
  `data_model_id` bigint(0) NULL DEFAULT NULL COMMENT '数据模型ID',
  `data_model` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '数据模型',
  `resources` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '资源',
  `perms` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '权限标识',
  `perm_urls` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '路径',
  `router_name` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '路由名称',
  `icon` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '图标',
  `sort` int(0) NULL DEFAULT NULL COMMENT '排序',
  `type` int(0) NULL DEFAULT NULL COMMENT '类型',
  `state` int(0) NULL DEFAULT NULL COMMENT '状态',
  `version` int(0) NULL DEFAULT NULL COMMENT '版本',
  `is_deleted` tinyint(1) UNSIGNED ZEROFILL NULL DEFAULT 0 COMMENT '是否删除',
  `create_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '创建时间',
  `create_user` bigint(0) NULL DEFAULT NULL COMMENT '创建人',
  `update_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '更新时间',
  `update_user` bigint(0) NULL DEFAULT NULL COMMENT '更新人',
  `tenant_id` bigint(0) NULL DEFAULT NULL COMMENT '租户',
  `client_name` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '客户端',
  `trace_id` varchar(60) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT 'traceId',
  `create_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '创建人',
  `update_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '更新人',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 1895361118805815299 CHARACTER SET = utf8mb3 COLLATE = utf8mb3_general_ci ROW_FORMAT = DYNAMIC;

-- ----------------------------
-- Table structure for us_permission
-- ----------------------------
DROP TABLE IF EXISTS `us_permission`;
CREATE TABLE `us_permission`  (
  `id` bigint(0) NOT NULL AUTO_INCREMENT COMMENT '权限ID',
  `menu_id` bigint(0) NULL DEFAULT NULL COMMENT '菜单ID',
  `name` varchar(500) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NOT NULL DEFAULT '' COMMENT '权限名称',
  `code` varchar(50) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT 'CODE',
  `description` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '描述',
  `level` int(0) NULL DEFAULT NULL COMMENT '等级',
  `super_perm_id` bigint(0) NULL DEFAULT NULL COMMENT '上级权限ID',
  `data_model_id` bigint(0) NULL DEFAULT NULL COMMENT '数据模型ID',
  `data_model` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '数据模型',
  `resources` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '资源',
  `perms` varchar(500) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '权限标识',
  `perm_urls` varchar(5000) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '路径',
  `router_name` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '路由名称',
  `icon` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '图标',
  `sort` int(0) NULL DEFAULT NULL COMMENT '排序',
  `type` int(0) NULL DEFAULT NULL COMMENT '类型',
  `state` int(0) NULL DEFAULT NULL COMMENT '状态',
  `version` int(0) NULL DEFAULT NULL COMMENT '版本',
  `is_deleted` tinyint(1) UNSIGNED ZEROFILL NULL DEFAULT 0 COMMENT '是否删除',
  `create_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '创建时间',
  `create_user` bigint(0) NULL DEFAULT NULL COMMENT '创建人',
  `update_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '更新时间',
  `update_user` bigint(0) NULL DEFAULT NULL COMMENT '更新人',
  `tenant_id` bigint(0) NULL DEFAULT NULL COMMENT '租户',
  `client_name` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '客户端',
  `trace_id` varchar(60) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT 'traceId',
  `create_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '创建人',
  `update_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '更新人',
  PRIMARY KEY (`id`) USING BTREE,
  UNIQUE INDEX `unique_perms`(`perms`) USING BTREE COMMENT '权限值唯一'
) ENGINE = InnoDB AUTO_INCREMENT = 1824033075454050306 CHARACTER SET = utf8mb3 COLLATE = utf8mb3_general_ci ROW_FORMAT = DYNAMIC;

-- ----------------------------
-- Table structure for us_role_menu_perm
-- ----------------------------
DROP TABLE IF EXISTS `us_role_menu_perm`;
CREATE TABLE `us_role_menu_perm`  (
  `id` bigint(0) NOT NULL COMMENT '角色权限ID',
  `role_id` bigint(0) NULL DEFAULT NULL COMMENT '角色ID',
  `menu_perm_id` bigint(0) NULL DEFAULT NULL COMMENT '菜单权限ID',
  `menu_id` bigint(0) NULL DEFAULT NULL COMMENT '菜单ID',
  `perm_id` bigint(0) NULL DEFAULT NULL COMMENT '权限ID',
  `perms` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '唯一权限标识',
  `data_rules` varchar(2000) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '数据规则',
  `data_sorts` varchar(2000) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '排序规则',
  `op_fields` varchar(2000) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '可操作字段',
  `eq_login_field` varchar(200) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '等于登录人字段',
  `sort` int(0) NULL DEFAULT NULL COMMENT '排序',
  `type` int(0) NULL DEFAULT NULL COMMENT '类型',
  `state` int(0) NULL DEFAULT NULL COMMENT '状态',
  `version` int(0) NULL DEFAULT NULL COMMENT '版本',
  `is_deleted` tinyint(1) UNSIGNED ZEROFILL NULL DEFAULT 0 COMMENT '是否删除',
  `create_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '创建时间',
  `create_user` bigint(0) NULL DEFAULT NULL COMMENT '创建人',
  `update_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '更新时间',
  `update_user` bigint(0) NULL DEFAULT NULL COMMENT '更新人',
  `tenant_id` bigint(0) NULL DEFAULT NULL COMMENT '租户',
  `trace_id` varchar(60) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT 'traceId',
  `create_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '创建人',
  `update_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '更新人',
  PRIMARY KEY (`id`) USING BTREE,
  INDEX `normal_role_id`(`role_id`) USING BTREE,
  INDEX `normal_perm_id`(`perm_id`) USING BTREE,
  INDEX `menu_id`(`menu_id`) USING BTREE,
  INDEX `menu_perm_id`(`menu_perm_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb3 COLLATE = utf8mb3_general_ci ROW_FORMAT = DYNAMIC;

-- ----------------------------
-- Table structure for us_role_menus
-- ----------------------------
DROP TABLE IF EXISTS `us_role_menus`;
CREATE TABLE `us_role_menus`  (
  `id` bigint(0) NOT NULL COMMENT '角色权限ID',
  `role_id` bigint(0) NULL DEFAULT NULL COMMENT '角色ID',
  `menu_id` bigint(0) NULL DEFAULT NULL COMMENT '菜单ID',
  `sort` int(0) NULL DEFAULT NULL COMMENT '排序',
  `type` int(0) NULL DEFAULT NULL COMMENT '类型',
  `state` int(0) NULL DEFAULT NULL COMMENT '状态',
  `version` int(0) NULL DEFAULT NULL COMMENT '版本',
  `is_deleted` tinyint(1) UNSIGNED ZEROFILL NULL DEFAULT 0 COMMENT '是否删除',
  `create_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '创建时间',
  `create_user` bigint(0) NULL DEFAULT NULL COMMENT '创建人',
  `update_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '更新时间',
  `update_user` bigint(0) NULL DEFAULT NULL COMMENT '更新人',
  `tenant_id` bigint(0) NULL DEFAULT NULL COMMENT '租户',
  `trace_id` varchar(60) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT 'traceId',
  `create_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '创建人',
  `update_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '更新人',
  PRIMARY KEY (`id`) USING BTREE,
  INDEX `normal_role_id`(`role_id`) USING BTREE,
  INDEX `menu_id`(`menu_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb3 COLLATE = utf8mb3_general_ci ROW_FORMAT = DYNAMIC;

SET FOREIGN_KEY_CHECKS = 1;

目标表

  1. us_menu_perm
    • 存储所有可用的权限标识及其对应的菜单ID。
  2. us_role_menu_perm
    • 存储角色与菜单权限之间的关系，即哪些角色拥有哪些权限。

三、转换

1、最终效果图


2、导入菜单权限

获取文件名

在输入中找到‘获取文件名’，拖入到画布中

配置文件名，选择文件目录，配置文件名的正则表达式 ^.*.xlsx$ ，最后点击增加按钮，加入到下方的已经选择的文件名称中。

查看显示文件名称

查看预览数据，找到文件路径的字段名称‘filename’

Excel输入

在输入中找到‘Excel输入’，并拖入画布中，将‘获取文件名’与‘Excel输入’连接

选择步骤名称‘获取文件名’

选择文件名的字段名‘filename’

预览数据

右键选择对象，点击preview

选择‘快速启动’

可以看到数据已经加载进来

生成雪花算法ID

在脚本中找到‘JavaScript代码’，拖入画布 

var UAPID = Packages.cn.hutool.core.util.IdUtil.getSnowflake(0,0).nextId()

使用hutool的方法生成雪花算法ID

如果没有hutool的包会提示报错，需要将hutool的jar包放入PDI的lib目录中

preview预览数据 UAPID已经生成

过滤记录

在流程中找到‘过滤记录’，拖入画布中

过滤‘ 权限标识 不等于 空 且 菜单ID 不等于 空’的数据

点击加号，选择字段名称

选择条件为‘NOT’，value类型选择‘String’，值为空

条件之间选择‘AND’

右键选择可以删除条件

preview预览数据，可以看到空值已经没有了

排序记录

由于需要将excel表中的数据和数据库表中的数据进行关联，所以必须先将两个表的数据进行排序

在转换中‘排序记录’拖入画布中

定义步骤的名称，点击获取字段，会从上一步骤中添加所有字段进来

找到需要排序的字段，也就是指两个表的关联字段，右键选择‘只保留选中的行’

表输入

在输入中找到‘表输入’，拖入画布中

先定义步骤名称，新建数据源

定义数据源名称，选择连接类型为‘MySQL’，连接方式JDBC，配置连接信息，最后点击测试

选择获取SQL查询语句

选择需要用到的关联表‘us_permission’

点击预览查看数据

对这张表同样进行上面的排序步骤

记录集连接

在连接中找到‘记录集连接’，拖入画布中

定义步骤名称

选择excel表作为主表，permission表作为左连接表

选择连接类型为左连接，选择连接字段

perview预览数据，已经通过perms字段将两张表的数据关联起来

表输出

在输出中找到‘表输出’，拖入画布中

定义步骤名称，选择数据库，选择输出的数据表，勾选指定数据库字段，勾选使用批量插入

点击获取字段，保留所需的字段

点击输入字段映射，选择源字段与目标字段并添加

四、运行

点击左上角三角按钮，运行这个转换，可以在下方看到执行结果的日志

数据库中查看表，数据已经添加成功

Kettle(PDI)-一款ETL工具的使用教程（1）
爱码士的博客
06-03 892
什么是ETL ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。 什么是Kettle(PDI) Kettle最早是一个开源的ETL工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment。在2006年，Pentaho公司收购了Kettl
Kettle内存溢出（OOM）终极解决方案：参数调优、设计优化与实战案例全解析
热门推荐
海量干货+实战指南，与百万技术人并肩跃迁，代码与思维共成长！
09-23 2万+
报错信息‌： java.lang.OutOfMemoryError: Java heap space 或 GC overhead limit exceeded。本文深度解析Kettle内存溢出的核心原因，提供‌参数调优、设计优化、监控技巧‌三位一体的解决方案，并附实战案例，助你彻底攻克OOM难题！优先调优JVM参数‌：根据数据量设置 -Xmx（建议不超过机器物理内存的80%）。设计分页与分批‌：避免全量数据加载，利用数据库分页、分批提交。启用外存缓存‌：对排序、聚合等操作使用临时文件。
大数据技术之 Kettle（PDI）
qq_48721706的博客
12-17 1万+
Extract-Transform-Load（ETL）是一种常见的数据集成过程，用于从一个或多个数据源中提取数据，对数据进行转换和清洗，然后加载到目标数据存储中。ETL 过程通常包括以下三个步骤：提取（Extract）：从一个或多个数据源中提取数据。数据源可以是关系型数据库、文件、API、日志文件等。在提取阶段，需要确定要提取的数据范围和数据格式。转换（Transform）：对提取的数据进行转换和清洗。这包括数据格式转换、数据清洗、数据合并、数据计算等操作。
PDI(Kettle) 是什么？PDI(Kettle) 都能做什么？
csdn0214的博客
06-03 1194
PDI(Kettle) 是什么？PDI(Kettle) 是一款开源的、元数据驱动的 ETL (数据的抽取、转换、加载)工具，是开源 ETL 工具里功能比较强大的一个。 [@more@]PDI 的全称是Pentaho Data I...
kettle pdi-ce-9.0.0.0-423（百度网盘地址含取件码）2020年2月官方9.0最新版
03-23
2020年2月官方9.0最新版Kettle，百度网盘地址含取件码，可在Linux/Windows/Mac上解压后直接运行。
Kettle PDI小白新手/进阶/必备 大数据基础之一数据清洗(ETL）基础进阶总结 1.6万字长文 附带大数据流处理和批处理的定义，Spark，Flink和Storm优缺点和适用场景 混合处理模式
李文昊的博客
08-17 3817
与大数据平台集成是kettle的一个重要应用场景 这篇是针对向高级数据清洗工程师进阶的一种指路教程 数据基础必备技能之一数据清洗 （ETL） 数据清洗和质量控制是数据处理过程中的关键环节，Kettle 是一个开源的数据集成工具，主要用于 ETL（抽取、转换、加载）过程。它的名字PDI，而 Kettle 是其早期的名字Kettle PDI小白新手/进阶/必备 大数据清洗(ETL）基础进阶总结 将近1.7万字长文 附带大数据流处理和批处理的定义，Spark，Flink和Storm优缺点和适用场景 混合处理模式
利用PDI(Kettle)构造数据
08-09
Pentaho Data Integration，简称PDI，或其别名Kettle，是一种业界广泛使用的开源数据集成工具，提供了强大的数据处理能力，使数据工程师和数据科学家能够轻松地实现数据抽取、转换和加载（ETL）过程。 PDI的设计...
数据转换大师：掌握Kettle ETL的关键技术点与转换技巧
本文系统地介绍了Kettle ETL工具的使用与实践，涵盖了环境搭建、基本操作、数据转换技巧、在大数据环境下的应用以及高级功能和插件开发。通过深入解析ETL过程中的数据流设计，核心组件解析及错误处理机制，本文为...
【数据质量】：Kettle数据类型转换的最佳实践
本文全面介绍了数据质量与Kettle工具的关系，深入探讨了Kettle中的数据类型基础，包括数据类型的分类、转换的必要性与挑战，以及转换的原理。在此基础上，文章分享了数据类型转换实践技巧，涵盖转换前的准备、实际...
【Kettle数据迁移案例】：Hive2批量插入速度优化的实战经验分享
[Kettle 批量插入 Hive2，解决表输出速度慢问题](https://opengraph.githubassets.com/c495ad0673a7ad0bf8bf614105b98701c8838b9fd56f3806a3d9d5521d5cd8c0/stanleyyang1987/kettle-plugins-es-bulk-insert) ...
PDI Kettle 最佳实践
11-18
PDI Kettle 最权威的最佳实践，让你的ETL 开发少走弯路
kettle PDI学习笔记（二）：kettle快速上手
梦回乌托邦
11-06 331
目录kettle的快速体验 kettle的快速体验 读取csv文件，写入到xls文件，这么个操作，读取的过程叫抽取（或者理解为输入），写入的过程叫加载（或者理解为输出） 我这里找了一个cvs文件，改了一下凑活用 回到软件，新建一个转换并保存 点到核心对象，把csv文件输入拖到工作台 双击打开工作台的那个控件，选择准备好的csv文件，可以根据红框框点一点看一看效果，差不多了就确定。 在输出里找到Excel输出并拖过去，在工作台点下“csv文件输入”按下shift，再点到“Excel输出”，选择“主输出
ETL免费工具kettle(PDI)，安装和配置
hhujjj2005的博客
05-06 1064
起源：Kettle最早是一个开源的ETL工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment。在2006年，Pentaho公司收购了Kettle项目，原Kettle项目发起人Matt Casters加入了Pentaho团队，成为Pentaho套件数据集成架构师 [1]；从此，Kettle成为企业级数据集成及商业智能套件Pentaho的主要组成部分，Kettle亦重命名为[1-2]。
05-PDI(Kettle)脚本执行
IT从业者的成长历程
11-19 1093
本文主要介绍PDI(Kettle)的Pan和Kitchen命令，并封装成脚本执行，并提供了相关参考连接
PDI和Kettle什么关系
最新发布
大连赵哥的博客
08-23 405
PDI和Kettle什么关系
01-PDI(Kettle)简介与安装
IT从业者的成长历程
11-09 2023
本文主要为PDI(Kettle)简介与安装，包括 PDI(Kettle)简介， Kettle下载与安装 ，Kettle核心知识点等。
kettle(PDI)安装使用过程，并部署到Linux下执行定时作业
路的博客
08-12 4877
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、kettle是什么？二、使用步骤1.下载kettle及MySQL依赖2.解压缩下载的pdi压缩包3.创建一个简单的转换4.Linux安装kettle总结 前言 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我要学习的ETL工具是Kettle！ 本文
ETL工具kettle(PDI)入门教程，Transform，Mysql-＞Mysql，Csv-＞Excel
hhujjj2005的博客
05-06 660
ETL，从mysql获取数据加载到mysql。
掌握Pentaho Kettle解决方案：电子书与源码详解
PDI是目前市场上最流行和广泛使用的ETL工具之一，它允许开发者和数据工程师能够轻松地从各种不同的数据源中提取数据，并将数据整合、转换成各种格式，最终加载到目标数据仓库或数据库中。PDI支持多种数据源和数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Rainbow酱

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值