ETL
关注
分享
扫一扫
ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。
210DDUp
这个作者很懒，什么都没留下…
展开
-
Kettle的使用（九）：定时任务的开发
需求：每5秒钟执行一次Kettle转换，也就是每5秒将Excel中的数据抽取并装载到MySQL中具体步骤：1.构建作业流组件图新建 => 作业 （之前都是新建 => 转换）2.设置组件（1）start组件（2）转换组件3.保存运行...原创 2021-12-22 17:31:32 · 988 阅读 · 0 评论 -
Kettle的使用（八）：执行SQL脚本2
需求：删除自己指定的数据具体操作：1.建立转换：见上一篇博客2.设置SQL语句3.保存运行原创 2021-12-22 17:08:54 · 964 阅读 · 0 评论 -
Kettle的使用（八）：执行SQL脚本文件
这个操作非常简单，直接操作。具体步骤：1.建立转换2.设置3.保存运行4.在数据库中查看原创 2021-12-22 16:41:49 · 2648 阅读 · 0 评论 -
Kettle的使用（七）：Switch/case组件，MySQL(一表) =＞ Excel(多表)
需求：从数据库的user表中读取所有用户数据，性别为男的用户导出到一个Excel，性别为女的用户导出到一个Excel，其他导出到一个Excel具体步骤：1.建立转换根据需求进行输出（Create a new target case for this step）2.设置输入各步骤的作用在之前的博客有详细说明3. 设置中间组件4.设置输出：男女其他三个表的设置几乎一样，以男为例演示每步的作用可见之前的博客5.保存运行看似转换成功，其他这张表...原创 2021-12-22 16:21:03 · 1542 阅读 · 0 评论 -
Kettle的使用（三）：MySQL(Linux)中输入和输出
准备工作：设置共享连接，不设置则新建一个连接即可右击 =>共享具体步骤：1.建立转换具体操作参考Kettle的使用（一）2.设置表输入双击表输入进行如图设置一般选是，可以自行筛选想要查询的字段3.设置表输出双击表输出，进行如图设置确定执行一次就够，第二次执行就是重复建表，报错4.保存转换文件 => 保存5.启动...原创 2021-12-21 16:46:36 · 553 阅读 · 0 评论 -
Kettle的使用（四）：插入/更新(Linux)
插入/更新的使用原因： 原表（表输入）进行过修改，复制的表也想得到修改后的数据，而原来的数据迁移并不会执行只修改不同数据这项操作。（原有的数据迁移进行的操作：追加插入所有的数据，不管这项数据有没有修改）具体步骤：1.建立转换具体操作见Kettle的使用（一）2.设置表输出双击表输出，与Kettle的使用（三）中表输入的设置相同3.设置插入/更新双击插入/更新，设置完后，点击确定4.保存5.运行...原创 2021-12-21 17:36:35 · 5544 阅读 · 0 评论 -
Kettle的使用（一）：抽取txt（Windows）数据到Excel（Windows）中
下载kettle，软件压缩包：pdi-ce-...链接：https://pan.baidu.com/s/1mx2wsgoBA4Dd0rHlhScmWQ提取码：ykrv使用kettle前一定要安装配置JDK进入压缩文件 => data-integration => 双击 Spoon.bat 打开（Windows）见到这个主界面就是安装成功抽取txt数据到Excel中假设有一个txt文件的内容如下：装载在Excel中变成ke...原创 2021-12-20 19:49:00 · 1219 阅读 · 0 评论 -
Kettle的使用（五）：依据txt文件(Windows)删除MySQL中的表数据(Linux)
具体步骤：1.建立转换具体见Kettle的使用（一）2.配置输入与Kettle的使用（一）一样，都是以txt文件做输入3.配置输出4.保存，运行原创 2021-12-21 21:55:54 · 564 阅读 · 0 评论 -
Kettle的使用（二）：将Excel（Windows）中的数据导入MySQL（Linux）
预备工作：建立数据库：CREATE DATABASE kettle_demo; 将驱动包：mysql-connector-java-5.1.47.jar，mysql-connector-java-8.0.13.jar导入到 data-integration\lib 中具体步骤：1.建立转换2.配置文件 （1）配置输入文件 1）文件 2）工作表...原创 2021-12-21 13:33:21 · 683 阅读 · 0 评论 -
Kettle的使用（六）：MySQL(Linux) =＞ 排序 =＞ Excel(Windows)
描述：MySQL中的表数据经过特定排序后输出在Excel的表中。在Kettle中可以设置多个转换的步骤，只要符合逻辑都是可行的。具体步骤1.建立转换2.设置输入3.设置中间步骤4.设置输出5.保存运行...原创 2021-12-22 14:33:07 · 626 阅读 · 0 评论