幸娟呀-优快云博客

原创 Kettle（二）：连接SQL Server数据库

前言上一篇文章讲到Kettle的安装部署，假设JDK已装好，Kettle的spoon可以正常打开。本文我们选取SQL Server作为数据源，来探讨怎样使用Kettle。Kettle主要包含两大部分，下面用案例来讲怎样创建转换transform和作业job。1.转换transform：完全针对数据的基础进行转换2.作业job：整个工作流的控制数据准备：--建数据库CXJ_kettledrop database CXJ_kettle if exist;create database CXJ

2022-02-23 15:07:18 10205 4

原创 Kettle（一）：安装部署在Win系统

1 kettle介绍kettle是一个款开源的ETL工具，纯java代码编写。可以在 windows、Linux、unix系统上运行，绿色无需安装，可以高效的完成数据抽取转换加载。2 kettle知识点2.1 kettle存储方式1.xml形式存储（在开发过程中，以此形式存储）2.以资源库方式存储（分两种,即数据库资源库和文件资源库）2.2 Kettle设计1.转换transform：完全针对数据的基础进行转换2.作业job：整个工作流的控制区别：1.作业是步骤流，转换是数据流，这就

2022-02-22 17:41:47 2786

原创 Kettle（九）：转换命名参数

转换命名参数就是在转换内部定义的变量，作用范围是在转换内部。在转换的空白处双击左键，在转换属性中能看到命名参数。引用：可以在表输入SQL语句中使用${变量名} 或者 %%变量名%%

2022-03-14 17:04:56 3042

原创 Kettle（八）：转换控件(Concat fields、值映射、增加常量、增加序列、字段选择)、流程控件（Switch / case、过滤字段）、连接控件（记录关联（笛卡尔输出）、记录集连接）

本文介绍转换控件(Concat fields、值映射、增加常量、增加序列、字段选择)、流程控件（Switch / case、过滤字段）、连接控件（记录关联（笛卡尔输出）、记录集连接）

2022-03-11 14:46:17 3684

原创 Kettle（七）：输出控件 (文本文件、Excel、SQL文件、更新、插入更新、删除、表输出)

本文介绍常用的输出控件：1 Excel输出Excel的输出有两种控件可供选择：1. ”Excel输出“控件不可选，后缀是.xls2. ”Microsoft Excel输出“控件可选： Excel2007之前（后缀是.xls） Excel2007之后（后缀是.xlsx）控件要点：2 SQL文件输出SQL文件输出：实际生成的是特定数据库表的sql脚本。3 更新”更新“控件：用源Excel表去更新目标...

2022-03-04 09:53:13 3525 1

原创 Kettle（六）：输入控件 (CSV、文本文件、Excel、多文件合并、Get data from XML、JSON input、生成记录、表输入)

本文介绍常用的输入控件：输入控件 (CSV、文本文件、Excel、多文件合并、Get data from XML、JSON input、生成记录、表输入)

2022-03-03 17:57:52 2046

原创 Kettle（五）：多文件合并

前言：数据往往也是以多个文件的形式出现，有的数据还会分散在多个子文件夹。因此多文件合并数据也是Kettle开发中非常常见的操作。数据准备：在Test_Input目录下准备两个Excel文件，其中一个放在文件夹下。Excel1:Excel2：需求背景：将Test_Input目录下以“04 多文件合并” 开头的所有Excel数据合并到同一个Excel。流程1) 新建转换：选择“转换”—>单击鼠标右键—>新建2）画转换流程图：在...

2022-02-28 11:44:01 5502

原创 Kettle（四）：连接SQL Server数据库资源库乱码问题

在连接SQL Server数据源的数据库资源库中，保存转换和作业没问题，但是点击运行按钮时，出现报错如下：一个数据库错误发生在从资源库文件读取转换时Unexpected error reading step information from the repository Invalid byte 1 of 1-byte UTF-8 sequence.解决：在kettle里步骤的名称是中文，编码解码造成数据不一致，会导致数据库资源库的name出现乱码问题。只需要选中data-intergrat

2022-02-24 17:03:57 2506 1

原创 Kettle（三）：创建资源库

用户通过图形界面创建的的转换和作业可以保存在资源库中。资源库分为以下两种：1.数据库资源库就是将转换和作业相关的信息保存到数据库中2.文件资源库就是作为文件保存4.4.1 数据库资源库（真实环境常用）建立数据库资源库的目的：团队里所有的转换和作业保存到同一个数据库里，这样大家可以一起共用资源，读写都放进同一个库创建数据库资源库的过程1.点击右上角 connect按钮–> other RepositoriesDatabase Repository —> Database Conn

2022-02-24 14:20:57 8951 1

MengCXJ的博客