kettle PDI学习笔记（五）：转换

最新推荐文章于 2022-10-25 19:38:36 发布
原创 最新推荐文章于 2022-10-25 19:38:36 发布 · 740 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #etl

本文介绍了Kettle PDI中的转换操作，包括Concat fields（字段连接）、值映射、增加常量、增加序列、字段选择、计算器、字符串操作、去除重复记录和排序等，展示了各种操作在数据处理中的应用。

目录

Concat fields

从Excel获取FirstName和LastName连接起来，放到Excel
连接
框框这里是两个字段之间的连接符
在这里插入图片描述
拼接后
在这里插入图片描述
结果

值映射

值映射就是把字段的一个值映射成另一个值，比如数据库经常用0、1代表性别
在这里插入图片描述
在这里插入图片描述
数据来自网上，并没有性别歧视，如有冒犯请联系我删除。
在这里插入图片描述

增加常量

增加常量就是在本身的数据流里添加一列数据，数据相同。
在这里插入图片描述
这好像没啥用，肯定是我还没体会到它的应用场景
在这里插入图片描述
在这里插入图片描述

增加序列

最低0.47元/天 解锁文章
PDI(KETTLE)学习笔记
qq_27937101的博客
08-02 4583
PDI（KETTLE）学习笔记简介主要文件组件树介绍转换作业组件生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 简介 一款ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）工具...
kettle PDI学习笔记（十一）：映射
梦回乌托邦
11-09 645
目录映射 映射 映射用来定义子转换，便于封装和重用 映射（子转换）是用来配置转换，对子转换进行调用的一个步骤，比如要在一个转换里边调用另一个转换，这时候就需要用到映射子转换 映射输入规范是输入字段，由调用的转换输入。 映射输出规范是向调用的转换输入所有列，不做任何处理。 例子：从t_orders表获取数据，根据u_id查询t_users表，获取用户信息，存储到Excel。 t_orders表 t_users表 ...
PDI设计转换任务
#include
03-29 1178
Pentaho Data Integration(PDI),Kettle是PDI以前的名称.在2006年Kettle加入了开源的BI组织Pentaho,正式命名为PDI, 加入Pentaho后Kettle的发展越来越快了，并有越来越多的人开始关注它了.PDI(Kettle)是一款开源的、元数据驱动的ETL (数据的抽取、转换、加载)工具,是开源 ETL 工具里功能比较强大的一个.PDI官网,最新版...
kettle PDI文档学习 （一）创建资源库
dylanwang_cn的博客
07-22 1438
一、 创建连接仓库 创建连接存储库 Verify thePentahoServeris running, and start the PDI client. Kettle支持连接的资源库类型有三种： 1.Pentaho Repository：使用的是Ket...
关于 PDI 性能的简单测试
csdn0214的博客
07-15 400
PDI 使用了下面的技术来提高性能：1. 数据库连接池。2. 多线程并发进行数据转换: 转换步骤是并发执行的,使用生产者/消费者的模式,每个步骤由一个线程来执行,当前步骤将一次处理完的数据放在缓存里,由下一个步骤的线程读取并再处...
kettle-列转行
weixin_41668007的博客
06-29 673
在转行前需要排序
kettle PDI学习笔记（三）：输入
梦回乌托邦
11-07 566
目录CSV文件输入文本文件输入 CSV文件输入 上回快速入门了一下子，最后输出后，数据格式有点不对劲，源文件数据数字没有小数点，而输出后有了小数点。 打开Excel输出，选择字段的格式，Integer类型的都在格式下拉框选择0就OK了。 注意一下，更改的时候，要把输出的那个文件关掉，不然会报错 文本文件输入 准备个txt id;name;age 1;zhangsan;22 2;lisi;21 3;wangwu;25 新建转换、文本文件输入、Excel输出 ...
kettle PDI学习笔记（一）：kettle的介绍，下载，目录结构，部署
梦回乌托邦
11-06 923
目录一、ETL二、Kettle简介三、Kettle的结构四、Kettle的核心组件 不慌，我也是刚听说这个词，一脑袋懵 一、ETL 什么是ETL？ETL是三个英文单词的缩写，即数据抽取、转换、装载的过程。对于企业或者行业应用来说，经常会遇到各种数据的处理，转换，迁移，所以掌握一种ETL工具的使用是必须的，Kettle就是ETL工具。 二、Kettle简介 1.Kettle是一款国外开源的ETL工具，纯Java编写的，绿色无需安装，数据抽取高效稳定。 2.Kettle中文：水壶，作者希望把各种数据放到一
kettle PDI学习笔记（二）：kettle快速上手
梦回乌托邦
11-06 357
目录kettle的快速体验 kettle的快速体验 读取csv文件，写入到xls文件，这么个操作，读取的过程叫抽取（或者理解为输入），写入的过程叫加载（或者理解为输出） 我这里找了一个cvs文件，改了一下凑活用 回到软件，新建一个转换并保存 点到核心对象，把csv文件输入拖到工作台 双击打开工作台的那个控件，选择准备好的csv文件，可以根据红框框点一点看一看效果，差不多了就确定。 在输出里找到Excel输出并拖过去，在工作台点下“csv文件输入”按下shift，再点到“Excel输出”，选择“主输出
kettle PDI学习笔记（十三）：作业
梦回乌托邦
11-10 456
目录简介作业项作业跳例子 简介 大多数ETL项目都需要完成各种各样的维护工作。 例如，怎么传送文件，验证数据库表是否存在，等等。这些操作都是按照一定顺序完成。因为转换以并行方式执行，就需要一个可以串行执行的作业来处理这些操作。 一个作业包含一个或多个作业项，这些作业项以某种顺序执行。作业执行顺序由作业项之间的跳（job hop）和每个作业项的执行结果来决定。 作业项 作业跳 例子 先从Excel读取数据，保存到Excel，再从文本文件中读取数据保存到Excel，如果产生错误就发送邮件，并且停止作业，如
kettle行转列详解
10-11
kettle etl 行转列 ；讲解清楚，用列经过测试能通俗易懂讲解这个知识点
kettle 列转行实际应用场景demo！！！
蛋蛋淡淡定的庄园
07-02 696
本文主要记录kettle列转行控件的使用。 1、用例脚本 create TABLE studentInfo ( studentno int, Cname varchar(10), grade int ); insert into studentInfo values(2018100,‘语文’,81); insert into studentInfo values(2018100,‘数学’,82);...
Kettle,在User Defined Class中动态输出多行
weixin_34153893的博客
03-27 183
2019独角兽企业重金招聘Python工程师标准>>> ...
hive中实现行转列_Kettle（PDI）转换中转换之行转列详解
weixin_31439191的博客
12-31 340
概述Row normaliser(行转列)此步骤将输入流的行转换为列。可以使用此步骤对列的重复组进行规范化。选项行转列Row normaliser(行转列))步骤有以下选项：Step name(步骤名称)：在画布上指定Row normaliser(行转列)步骤的唯一名称。您可以自定义名称或将其保留为默认名称。Type field(Type字段)：指定输出数据中的新列的名称。字段Fieldname(...
kattle使用手册翻译-PDI数据转换教程
phoenixdsf的专栏
08-16 1897
偷懒了好几天，今天不论怎么着也要翻译一点 翻译自:https://help.pentaho.com/Documentation/7.1/0J0/0C0/020 Spoon（勺子）的数据透视图准许你创建两种基本的文件类型：转换器（transformations ）和任务（jobs）。转换器（Transformations ）通常用于为ETL过程描述数据流，例如数据源、统计数据或者
利用游标进行列转行实例详解
weixin_30823001的博客
01-07 197
游标的定义、语法啥的请诸君搜索百度，本博文是一个详细的实例讲解，写的不一定最好，抛砖引玉而已。 假如有一张表#DETAIL: CREATE TABLE #DETAIL ( ID INT NOT NULL IDENTITY(1, 1), 类型INT NOT NULL DEFAULT(0), 楼宇NVARCHAR(50) NOT NULL DEFAULT(''), ...
kettle PDI学习笔记（六）：应用
梦回乌托邦
11-09 212
目录替换空值写日志 替换空值 源数据 处理后 写日志 写日志主要在调试的时候使用，把日志信息打印到日志窗口。 红框可以选择日志级别
kettle PDI学习笔记（八）：查询
梦回乌托邦
11-09 374
目录HTTP client数据库查询数据库连接流查询 HTTP client HTTP client是使用get的方式提交请求，获取返回的页面内容。 用这个接口可以得到一个xml： http://services.odata.org/V3/Northwind/Northwind.svc/Products/ 自定义常量 HTTP client Get data from xml /feed/entry/content/m:properties 结果 数据库查询 就是左连接查询 数据库连
Kettle基本使用（三） —— 转换的使用
qq_52421831的博客
10-25 4748
Kettle基本使用之转换的使用
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值