数据转换的艺术：Kettle(PDI)带来的无限可能与我的实战经验分享（一）

最新推荐文章于 2025-10-16 09:22:51 发布
原创 最新推荐文章于 2025-10-16 09:22:51 发布 · 1.1k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #kettle #etl

一、Kettle(PDI)简介

Kettle（Pentaho Data Integration, PDI）是一个强大的开源ETL工具，它通过提供图形化界面让用户能够轻松地设计和管理数据集成流程。在Kettle中，控件通常被称为步骤（Steps）或作业项（Job Entries），它们是构建转换（Transformation）和作业（Job）的基本单元。以下是关于Kettle(PDI)的一些常见控件的详细介绍：

转换中的步骤（Steps）

  1. 表输入（Table Input）
    • 从数据库表中读取数据。支持SQL查询来选择特定的数据。
  2. 文本文件输入/输出（Text File Input/Output）
    • 用于导入或导出大型文本文件，如CSV、TXT等。可以配置源平面文件的类型、行分隔符和编码等属性。
  3. 过滤记录（Filter Rows）
    • 根据条件筛选记录，例如只保留满足某些业务规则的数据行。
  4. 排序记录（Sort Rows）
    • 对数据流中的记录进行排序，可以根据一个或多个字段进行升序或降序排列。
  5. 合并记录（Merge Rows）
    • 合并两个不同的数据流，通常用于比较新旧数据集之间的差异。
  6. JavaScript修改（Modified JavaScript Value）
    • 提供了自定义逻辑的功能，可以用来计算新的字段值、执行复杂的数据转换等。
  7. 字段选择（Select Values）
    • 允许选择、重命名、移除或重新排序输入流中的字段，对于数据清洗非常有用。
  8. 分组（Group By）
    • 对输入数据进行分组汇总，可以基于一个或多个字段对数据进行聚合计算，如求和、计数等。
  9. 数据库查询（Database Lookup）
    • 在转换过程中查询数据库以获取额外的信息，这对于丰富原始数据集很有帮助。
  10. 表输出（Table Output）
    • 将处理后的数据写入目标数据库表中，提供了丰富的选项来控制如何插入或更新记录。

作业中的作业项（Job Entries）

  1. 启动（Start）
    • 作业的开始点，表示作业从此处开始执行。
  2. 转换（Transformation）
    • 可以在一个作业中运行一个或多个转换，允许复杂的流程控制。
  3. 成功（Success）
    • 表示作业结束，并且所有之前的步骤都成功完成。
  4. Shell 或 Execute a Process
    • 允许在作业中执行外部命令或脚本，如shell脚本、批处理文件等。
  5. 邮件（Mail）
    • 发送电子邮件通知，可以在作业完成后发送状态报告或警报。
  6. 等待（Wait For SQL)
    • 等待直到某个SQL查询返回结果，常用于确保前一个操作已经完成。

特殊组件

  • 变量（Variables）
    • 变量可以在整个转换或作业范围内共享数据，使得配置更加灵活。可以通过设置变量的值来动态控制流程的行为。
  • 参数（Parameters）
    • 参数允许用户在运行时为转换或作业提供输入值，增加了使用的灵活性。
  • 日志记录（Logging）
    • Kettle提供了详细的日志记录功能，可以帮助追踪ETL过程中的错误和性能瓶颈。

插件

Kettle还支持插件扩展，这使得它可以适应各种特殊的数据源和目标。例如，有专门针对Hadoop、MongoDB、Redis等大数据技术的插件，极大地增强了其兼容性和应用范围。

二、任务背景介绍

1、背景
为了确保系统的安全性和功能完整性，需要将最新的接口权限数据从Excel文件导入到数据库中。这些权限数据定义了不同角色对系统内各个菜单和功能的访问权限，是保障系统安全性的重要组成部分。
2、数据来源
  • 文件类型: Excel 文件
  • 文件内容: 包含三列数据——权限标识（Permission ID）、菜单ID（Menu ID）、权限标识名称（Permission Name）。
  • 文件示例:
权限标识    菜单ID    权限标识名称
perm_001   menu_001  查看用户信息
perm_002   menu_002  编辑用户资料
3、相关数据库表
/*
 Navicat Premium Data Transfer

 Source Server         : 10.13.3.17
 Source Server Type    : MySQL
 Source Server Version : 80032
 Source Host           : 10.13.3.17:3306
 Source Schema         : swp_base

 Target Server Type    : MySQL
 Target Server Version : 80032
 File Encoding         : 65001

 Date: 06/03/2025 10:24:12
*/

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for us_menu_perm
-- ----------------------------
DROP TABLE IF EXISTS `us_menu_perm`;
CREATE TABLE `us_menu_perm`  (
  `id` bigint(0) NOT NULL COMMENT 'ID',
  `menu_id` bigint(0) NULL DEFAULT NULL COMMENT '菜单ID',
  `perm_id` bigint(0) NULL DEFAULT NULL COMMENT '权限ID',
  `perms` varchar(1000) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '权限标识',
  `sort` int(0) NULL DEFAULT NULL COMMENT '排序',
  `type` int(0) NULL DEFAULT 0 COMMENT '类型',
  `state` int(0) NULL DEFAULT 0 COMMENT '状态',
  `is_deleted` tinyint(1) UNSIGNED ZEROFILL NULL DEFAULT 0 COMMENT '是否删除',
  `create_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '创建时间',
  `create_user` bigint(0) UNSIGNED NULL DEFAULT NULL COMMENT '创建人',
  `update_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '更新时间',
  `update_user` bigint(0) UNSIGNED NULL DEFAULT NULL COMMENT '更新人',
  `version` int(0) NULL DEFAULT 1 COMMENT '版本',
  `tenant_id` bigint(0) NULL DEFAULT NULL COMMENT '租户',
  `trace_id` varchar(60) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT 'traceId',
  `create_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '创建人',
  `update_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '更新人',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = DYNAMIC;

-- ----------------------------
-- Table structure for us_menus
-- ----------------------------
DROP TABLE IF EXISTS `us_menus`;
CREATE TABLE `us_menus`  (
  `id` bigint(0) NOT NULL AUTO_INCREMENT COMMENT '权限ID',
  `name` varchar(50) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NOT NULL DEFAULT '' COMMENT '权限名称',
  `code` varchar(50) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT 'CODE',
  `description` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '描述',
  `level` int(0) NULL DEFAULT NULL COMMENT '等级',
  `super_menu_id` bigint(0) NULL DEFAULT NULL COMMENT '上级权限ID',
  `data_model_id` bigint(0) NULL DEFAULT NULL COMMENT '数据模型ID',
  `data_model` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '数据模型',
  `resources` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '资源',
  `perms` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '权限标识',
  `perm_urls` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '路径',
  `router_name` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '路由名称',
  `icon` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '图标',
  `sort` int(0) NULL DEFAULT NULL COMMENT '排序',
  `type` int(0) NULL DEFAULT NULL COMMENT '类型',
  `state` int(0) NULL DEFAULT NULL COMMENT '状态',
  `version` int(0) NULL DEFAULT NULL COMMENT '版本',
  `is_deleted` tinyint(1) UNSIGNED ZEROFILL NULL DEFAULT 0 COMMENT '是否删除',
  `create_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '创建时间',
  `create_user` bigint(0) NULL DEFAULT NULL COMMENT '创建人',
  `update_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '更新时间',
  `update_user` bigint(0) NULL DEFAULT NULL COMMENT '更新人',
  `tenant_id` bigint(0) NULL DEFAULT NULL COMMENT '租户',
  `client_name` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '客户端',
  `trace_id` varchar(60) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT 'traceId',
  `create_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '创建人',
  `update_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '更新人',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 1895361118805815299 CHARACTER SET = utf8mb3 COLLATE = utf8mb3_general_ci ROW_FORMAT = DYNAMIC;

-- ----------------------------
-- Table structure for us_permission
-- ----------------------------
DROP TABLE IF EXISTS `us_permission`;
CREATE TABLE `us_permission`  (
  `id` bigint(0) NOT NULL AUTO_INCREMENT COMMENT '权限ID',
  `menu_id` bigint(0) NULL DEFAULT NULL COMMENT '菜单ID',
  `name` varchar(500) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NOT NULL DEFAULT '' COMMENT '权限名称',
  `code` varchar(50) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT 'CODE',
  `description` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '描述',
  `level` int(0) NULL DEFAULT NULL COMMENT '等级',
  `super_perm_id` bigint(0) NULL DEFAULT NULL COMMENT '上级权限ID',
  `data_model_id` bigint(0) NULL DEFAULT NULL COMMENT '数据模型ID',
  `data_model` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '数据模型',
  `resources` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '资源',
  `perms` varchar(500) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '权限标识',
  `perm_urls` varchar(5000) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '路径',
  `router_name` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '路由名称',
  `icon` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '图标',
  `sort` int(0) NULL DEFAULT NULL COMMENT '排序',
  `type` int(0) NULL DEFAULT NULL COMMENT '类型',
  `state` int(0) NULL DEFAULT NULL COMMENT '状态',
  `version` int(0) NULL DEFAULT NULL COMMENT '版本',
  `is_deleted` tinyint(1) UNSIGNED ZEROFILL NULL DEFAULT 0 COMMENT '是否删除',
  `create_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '创建时间',
  `create_user` bigint(0) NULL DEFAULT NULL COMMENT '创建人',
  `update_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '更新时间',
  `update_user` bigint(0) NULL DEFAULT NULL COMMENT '更新人',
  `tenant_id` bigint(0) NULL DEFAULT NULL COMMENT '租户',
  `client_name` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '客户端',
  `trace_id` varchar(60) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT 'traceId',
  `create_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '创建人',
  `update_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '更新人',
  PRIMARY KEY (`id`) USING BTREE,
  UNIQUE INDEX `unique_perms`(`perms`) USING BTREE COMMENT '权限值唯一'
) ENGINE = InnoDB AUTO_INCREMENT = 1824033075454050306 CHARACTER SET = utf8mb3 COLLATE = utf8mb3_general_ci ROW_FORMAT = DYNAMIC;

-- ----------------------------
-- Table structure for us_role_menu_perm
-- ----------------------------
DROP TABLE IF EXISTS `us_role_menu_perm`;
CREATE TABLE `us_role_menu_perm`  (
  `id` bigint(0) NOT NULL COMMENT '角色权限ID',
  `role_id` bigint(0) NULL DEFAULT NULL COMMENT '角色ID',
  `menu_perm_id` bigint(0) NULL DEFAULT NULL COMMENT '菜单权限ID',
  `menu_id` bigint(0) NULL DEFAULT NULL COMMENT '菜单ID',
  `perm_id` bigint(0) NULL DEFAULT NULL COMMENT '权限ID',
  `perms` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '唯一权限标识',
  `data_rules` varchar(2000) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '数据规则',
  `data_sorts` varchar(2000) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '排序规则',
  `op_fields` varchar(2000) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT '' COMMENT '可操作字段',
  `eq_login_field` varchar(200) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT '等于登录人字段',
  `sort` int(0) NULL DEFAULT NULL COMMENT '排序',
  `type` int(0) NULL DEFAULT NULL COMMENT '类型',
  `state` int(0) NULL DEFAULT NULL COMMENT '状态',
  `version` int(0) NULL DEFAULT NULL COMMENT '版本',
  `is_deleted` tinyint(1) UNSIGNED ZEROFILL NULL DEFAULT 0 COMMENT '是否删除',
  `create_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '创建时间',
  `create_user` bigint(0) NULL DEFAULT NULL COMMENT '创建人',
  `update_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '更新时间',
  `update_user` bigint(0) NULL DEFAULT NULL COMMENT '更新人',
  `tenant_id` bigint(0) NULL DEFAULT NULL COMMENT '租户',
  `trace_id` varchar(60) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT 'traceId',
  `create_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '创建人',
  `update_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '更新人',
  PRIMARY KEY (`id`) USING BTREE,
  INDEX `normal_role_id`(`role_id`) USING BTREE,
  INDEX `normal_perm_id`(`perm_id`) USING BTREE,
  INDEX `menu_id`(`menu_id`) USING BTREE,
  INDEX `menu_perm_id`(`menu_perm_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb3 COLLATE = utf8mb3_general_ci ROW_FORMAT = DYNAMIC;

-- ----------------------------
-- Table structure for us_role_menus
-- ----------------------------
DROP TABLE IF EXISTS `us_role_menus`;
CREATE TABLE `us_role_menus`  (
  `id` bigint(0) NOT NULL COMMENT '角色权限ID',
  `role_id` bigint(0) NULL DEFAULT NULL COMMENT '角色ID',
  `menu_id` bigint(0) NULL DEFAULT NULL COMMENT '菜单ID',
  `sort` int(0) NULL DEFAULT NULL COMMENT '排序',
  `type` int(0) NULL DEFAULT NULL COMMENT '类型',
  `state` int(0) NULL DEFAULT NULL COMMENT '状态',
  `version` int(0) NULL DEFAULT NULL COMMENT '版本',
  `is_deleted` tinyint(1) UNSIGNED ZEROFILL NULL DEFAULT 0 COMMENT '是否删除',
  `create_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '创建时间',
  `create_user` bigint(0) NULL DEFAULT NULL COMMENT '创建人',
  `update_time` datetime(6) NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '更新时间',
  `update_user` bigint(0) NULL DEFAULT NULL COMMENT '更新人',
  `tenant_id` bigint(0) NULL DEFAULT NULL COMMENT '租户',
  `trace_id` varchar(60) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL COMMENT 'traceId',
  `create_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '创建人',
  `update_user_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '更新人',
  PRIMARY KEY (`id`) USING BTREE,
  INDEX `normal_role_id`(`role_id`) USING BTREE,
  INDEX `menu_id`(`menu_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb3 COLLATE = utf8mb3_general_ci ROW_FORMAT = DYNAMIC;

SET FOREIGN_KEY_CHECKS = 1;

目标表

  1. us_menu_perm
    • 存储所有可用的权限标识及其对应的菜单ID。
  2. us_role_menu_perm
    • 存储角色与菜单权限之间的关系，即哪些角色拥有哪些权限。

三、转换

1、最终效果图


2、导入菜单权限

获取文件名

在输入中找到‘获取文件名’，拖入到画布中

配置文件名，选择文件目录，配置文件名的正则表达式 ^.*.xlsx$ ，最后点击增加按钮，加入到下方的已经选择的文件名称中。

查看显示文件名称

查看预览数据，找到文件路径的字段名称‘filename’

Excel输入

在输入中找到‘Excel输入’，并拖入画布中，将‘获取文件名’与‘Excel输入’连接

选择步骤名称‘获取文件名’

选择文件名的字段名‘filename’

预览数据

右键选择对象，点击preview

选择‘快速启动’

可以看到数据已经加载进来

生成雪花算法ID

在脚本中找到‘JavaScript代码’，拖入画布 

var UAPID = Packages.cn.hutool.core.util.IdUtil.getSnowflake(0,0).nextId()

使用hutool的方法生成雪花算法ID

如果没有hutool的包会提示报错，需要将hutool的jar包放入PDI的lib目录中

preview预览数据 UAPID已经生成

过滤记录

在流程中找到‘过滤记录’，拖入画布中

过滤‘ 权限标识 不等于 空 且 菜单ID 不等于 空’的数据

点击加号，选择字段名称

选择条件为‘NOT’，value类型选择‘String’，值为空

条件之间选择‘AND’

右键选择可以删除条件

preview预览数据，可以看到空值已经没有了

排序记录

由于需要将excel表中的数据和数据库表中的数据进行关联，所以必须先将两个表的数据进行排序

在转换中‘排序记录’拖入画布中

定义步骤的名称，点击获取字段，会从上一步骤中添加所有字段进来

找到需要排序的字段，也就是指两个表的关联字段，右键选择‘只保留选中的行’

表输入

在输入中找到‘表输入’，拖入画布中

先定义步骤名称，新建数据源

定义数据源名称，选择连接类型为‘MySQL’，连接方式JDBC，配置连接信息，最后点击测试

选择获取SQL查询语句

选择需要用到的关联表‘us_permission’

点击预览查看数据

对这张表同样进行上面的排序步骤

记录集连接

在连接中找到‘记录集连接’，拖入画布中

定义步骤名称

选择excel表作为主表，permission表作为左连接表

选择连接类型为左连接，选择连接字段

perview预览数据，已经通过perms字段将两张表的数据关联起来

表输出

在输出中找到‘表输出’，拖入画布中

定义步骤名称，选择数据库，选择输出的数据表，勾选指定数据库字段，勾选使用批量插入

点击获取字段，保留所需的字段

点击输入字段映射，选择源字段与目标字段并添加

四、运行

点击左上角三角按钮，运行这个转换，可以在下方看到执行结果的日志

数据库中查看表，数据已经添加成功

ETL工具kettle(PDI)入门教程，Transform，Mysql-＞Mysql，Csv-＞Excel
hhujjj2005的博客
05-06 704
ETL，从mysql获取数据加载到mysql。
Kettle（PDI）安装及入门教程
m0_70691645的博客
09-11 1823
Kettle，全称为Pentaho Data Integration（PDI），是一款开源的ETL工具。它能够轻松地从各种数据源抽取、转换和加载数据，帮助用户高效处理复杂的数据集成任务。启动Kettle后，进入主界面。工具栏：包含了常用功能，如新建转换、作业、保存、运行等。资源库：用来管理项目中的各种资源，如转换、作业等。设计面板：设计数据转换逻辑的主要区域。日志面板：显示运行过程中产生的日志信息。Kettle作为一款功能强大的ETL工具，能够帮助我们轻松完成复杂的数据集成任务。
第五章 Kettle（PDI）解锁转换组件：数据处理的瑞士军刀
最新发布
hugejiletuhugejiltu的博客
10-16 768
Kettle（Pentaho Data Integration）作为一款开源ETL工具，其转换组件是实现数据提取、清洗和加载的核心模块。本文系统介绍了Kettle转换组件的功能与应用：首先阐述了转换组件在ETL流程中的关键作用，即从多源异构数据中提取数据并进行格式转换、清洗计算等处理；其次对比了转换组件与作业组件的差异，前者专注数据处理逻辑，后者负责任务流程调度；最后详细解析了三大核心功能模块——数据提取（支持数据库、文本等多种输入源）、数据转换（提供字段选择、清洗、计算等丰富处理手段）和数据加载（可输出至
ETL之PDI/Kettle9.x/8.x案例培训实战从入门到应用案例
01-06
学完本课程，您将掌握：PDI/Kettle数仓技术PDI/Kettle开源免费的ETL推送工具PDI/Kettle数据清洗PDI/Kettle数据抽取PDI/Kettle数据挖掘PDI/Kettle案例实战PDI/Kettle技巧PDI/Kettle9.1版本PDI/Kettle通用PDI/Kettle水壶技术适合人群：需要数据清洗和操作的IT信息化相关人员，IT相关从业人员，大数据工程师，数据库工程师及DBA，数据仓库ETL学习计划：利用碎片化的时间学习即可，每天学习一小时或3个课时即可达到效果；时间充足者，自由安排课程目标：促使教育公平，打破教育壁垒，让ETL更加的大众化使用 课程简介：【可视化介绍】       Kettle 是 PDI 以前的名称，PDI 的全称是Pentaho Data Integeration，Kettle 本意是水壶的意思，表达了数据流的含义。Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。【软件版本】     企业用的最多的Kettle9.x/8.x/7.x，本教程以最新Kettle 9.x进行教学【授课方式】    番茄教学法：以知识点为基准，进行独立课时讲解，课时之间低耦合，方便同学利用碎片化时间学习 
大数据技术之 Kettle（PDI）
qq_48721706的博客
12-17 1万+
Extract-Transform-Load（ETL）是一种常见的数据集成过程，用于从一个或多个数据源中提取数据，对数据进行转换和清洗，然后加载到目标数据存储中。ETL 过程通常包括以下三个步骤：提取（Extract）：从一个或多个数据源中提取数据。数据源可以是关系型数据库、文件、API、日志文件等。在提取阶段，需要确定要提取的数据范围和数据格式。转换（Transform）：对提取的数据进行转换和清洗。这包括数据格式转换、数据清洗、数据合并、数据计算等操作。
PDI(Kettle)介绍
feizhuliuss的博客
10-11 234
ETL工具之Kettle的简单介绍
利用PDI(Kettle)构造数据
08-09
Pentaho Data Integration，简称PDI，或其别名Kettle，是一种业界广泛使用的开源数据集成工具，提供了强大的数据处理能力，使数据工程师和数据科学家能够轻松地实现数据抽取、转换和加载（ETL）过程。 PDI的设计...
数据转换大师：掌握Kettle ETL的关键技术点与转换技巧
本文系统地介绍了Kettle ETL工具的使用与实践，涵盖了环境搭建、基本操作、数据转换技巧、在大数据环境下的应用以及高级功能和插件开发。通过深入解析ETL过程中的数据流设计，核心组件解析及错误处理机制，本文为...
【数据质量】：Kettle数据类型转换的最佳实践
本文全面介绍了数据质量与Kettle工具的关系，深入探讨了Kettle中的数据类型基础，包括数据类型的分类、转换的必要性与挑战，以及转换的原理。在此基础上，文章分享了数据类型转换实践技巧，涵盖转换前的准备、实际...
【Kettle数据迁移案例】：Hive2批量插入速度优化的实战经验分享
[Kettle 批量插入 Hive2，解决表输出速度慢问题](https://opengraph.githubassets.com/c495ad0673a7ad0bf8bf614105b98701c8838b9fd56f3806a3d9d5521d5cd8c0/stanleyyang1987/kettle-plugins-es-bulk-insert) ...
kettle pdi-ce-9.0.0.0-423（百度网盘地址含取件码）2020年2月官方9.0最新版
03-23
2020年2月官方9.0最新版Kettle，百度网盘地址含取件码，可在Linux/Windows/Mac上解压后直接运行。
PDI Kettle 最佳实践
11-18
PDI Kettle 最权威的最佳实践，让你的ETL 开发少走弯路
Kettle内存溢出（OOM）终极解决方案：参数调优、设计优化与实战案例全解析
热门推荐
优快云博客专家，领域包括但不限于：AI、大数据、Python、架构师，有合作、课程、问题、疑惑请私信博主
09-23 2万+
报错信息‌： java.lang.OutOfMemoryError: Java heap space 或 GC overhead limit exceeded。本文深度解析Kettle内存溢出的核心原因，提供‌参数调优、设计优化、监控技巧‌三位一体的解决方案，并附实战案例，助你彻底攻克OOM难题！优先调优JVM参数‌：根据数据量设置 -Xmx（建议不超过机器物理内存的80%）。设计分页与分批‌：避免全量数据加载，利用数据库分页、分批提交。启用外存缓存‌：对排序、聚合等操作使用临时文件。
Kettle(PDI)-一款ETL工具的使用教程（1）
爱码士的博客
06-03 945
什么是ETL ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。 什么是Kettle(PDI) Kettle最早是一个开源的ETL工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment。在2006年，Pentaho公司收购了Kettl
PDI(Kettle) 是什么？PDI(Kettle) 都能做什么？
csdn0214的博客
06-03 1224
PDI(Kettle) 是什么？PDI(Kettle) 是一款开源的、元数据驱动的 ETL (数据的抽取、转换、加载)工具，是开源 ETL 工具里功能比较强大的一个。 [@more@]PDI 的全称是Pentaho Data I...
Kettle PDI小白新手/进阶/必备 大数据基础之一数据清洗(ETL）基础进阶总结 1.6万字长文 附带大数据流处理和批处理的定义，Spark，Flink和Storm优缺点和适用场景 混合处理模式
李文昊的博客
08-17 4246
与大数据平台集成是kettle的一个重要应用场景 这篇是针对向高级数据清洗工程师进阶的一种指路教程 数据基础必备技能之一数据清洗 （ETL） 数据清洗和质量控制是数据处理过程中的关键环节，Kettle 是一个开源的数据集成工具，主要用于 ETL（抽取、转换、加载）过程。它的名字PDI，而 Kettle 是其早期的名字Kettle PDI小白新手/进阶/必备 大数据清洗(ETL）基础进阶总结 将近1.7万字长文 附带大数据流处理和批处理的定义，Spark，Flink和Storm优缺点和适用场景 混合处理模式
kettle PDI学习笔记（二）：kettle快速上手
梦回乌托邦
11-06 353
目录kettle的快速体验 kettle的快速体验 读取csv文件，写入到xls文件，这么个操作，读取的过程叫抽取（或者理解为输入），写入的过程叫加载（或者理解为输出） 我这里找了一个cvs文件，改了一下凑活用 回到软件，新建一个转换并保存 点到核心对象，把csv文件输入拖到工作台 双击打开工作台的那个控件，选择准备好的csv文件，可以根据红框框点一点看一看效果，差不多了就确定。 在输出里找到Excel输出并拖过去，在工作台点下“csv文件输入”按下shift，再点到“Excel输出”，选择“主输出
ETL免费工具kettle(PDI)，安装和配置
hhujjj2005的博客
05-06 1192
起源：Kettle最早是一个开源的ETL工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment。在2006年，Pentaho公司收购了Kettle项目，原Kettle项目发起人Matt Casters加入了Pentaho团队，成为Pentaho套件数据集成架构师 [1]；从此，Kettle成为企业级数据集成及商业智能套件Pentaho的主要组成部分，Kettle亦重命名为[1-2]。
05-PDI(Kettle)脚本执行
IT从业者的成长历程
11-19 1216
本文主要介绍PDI(Kettle)的Pan和Kitchen命令，并封装成脚本执行，并提供了相关参考连接
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Rainbow酱

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值