kettle案例11-排序记录

最新推荐文章于 2025-04-14 13:39:17 发布

原创

最新推荐文章于 2025-04-14 13:39:17 发布 · 3.3k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#排序算法 #算法 #kettle #ETL

本文详细介绍了如何使用ETL工具中的【排序记录】组件，对'2019年11月月考数学成绩.xls'文件进行排序，以便得出学生的成绩排名。操作涉及设置排序目录、临时文件前缀、排序缓存大小等参数，并针对字段进行升序或降序、大小写敏感等排序规则设定，确保数据按预设条件正确排序。

参考《ETL数据整合与处理》--任务3.1

排序是对数据中心的无序记录，按照自然或客观规律，根据关键字段大小递增或递减的次序，对记录重新排列的过程。

为了得出学生的成绩排名，需要对“2019年11月月考数学成绩.xls”文件，使用【排序记录】组件，对学生的成绩从低到高排序。

参数名称		说明
	步骤名称	表示排序组件名称，在单个转换工程中，名称必须唯一。默认值是【排序记录】组件名称

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

夜空霓虹

关注关注

3
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Kettle数据抽取（六）转换控件

荒的博客

06-25

利用excel输入控件读取input目录下的06_去除重复记录.xlsx，然后对里面重复的数据进行按照id排序并去重。，排序记录控件可以按照指定的字段升序或降序对数据进行排序。因此排序记录+去除重复记录控件常常会组合使用。去除重复记录是去除数据流里面相同的数据行。但是此控件使用之前要求必须先对数据进行。，对数据排序用的控件是。

Kettle8.2转换组件之排序与去除重复记录

在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。

04-09

1363

Kettle8.2转换组件之排序与去除重复记录一、相关说明二、设计转换三、转换配置四、运行转换五、查看结果一、相关说明需求说明：从Excel读取数据，去除其中重复的字段，并把结果数据保存在数据库表中。排序记录组件说明：排序记录是按照指定的字段的升序或降序对数据流排序。去除重复记录组件说明：去除重复记录是去除数据流里面相同的数据行。注意：必须先对数据流进行排序！二、设计转换输入：Excel输入转换：排序记录、去除重复记录输出：表输出三、转换配置 Step1：Exce

参与评论您还未登录，请先登录后发表或查看评论

【Kettle操作】数据清洗--数据去重

热门推荐

sinat_19171485的博客

07-29

1万+

文本文件输入(text input)：读取大量不同的文本文件。大多是通过工具生成的CSV文件。表输入(table Input)：常用来利用连接和SQL，从数据中读取信息，自动生成基本的SQL语句。获取系统信息(get system info):这个步骤从 Kettle 环境中获取信息。生成行（Generate Rows ）：这个步骤输出一定数

kettle案例12-去除重复记录

勇气与行动

10-26

3892

参考《ETL数据整合与处理》--任务3.2 由于输入或其他错误，数据文件中可能出现两条或多条数据完全相同的记录，这些相同的记录称为重复记录。重复记录属于“脏数据”，会造成数据统计和分析不正确，必须清洗掉重复记录。由于在“期考成绩.xls”文件中，发现存在序号不同，但是学号、各科考试成绩完全相同的记录，所以需要使用【去除重复记录】控件，去除这些重复的数据。参数名称说明步骤名称 ...

kettle案例6.4--数据转换---数据的商务规则计算

m0_68381568的博客

11-25

649

数据转换---数据的商务规则计算

kettle案例6.3--数据转换---数据粒度的转换

m0_68381568的博客

11-25

834

数据转换---数据粒度的转换

使用Kettle实现数据排序

qq_68383591的博客

05-29

3635

在Windows系统中打开浏览器，访问Kettle官网（https://sourceforge.net/projects/pentaho/），下载Kettle安装文件pdi-ce-9.1.0.0-324.zip。把pdi-ce-9.1.0.0-324.zip解D:\bigdataCol\”目录下，会生成一个“data-integration”目录，该目录下就包含了Kettle。链接：https://pan.baidu.com/s/1qZ7o3MT0635kMC-ojfeUiA?启动成功以后的界面如图所示。

kettle转换实践（一）-排序记录，记录集连接，过滤记录

kone666

05-26

3209

如果我们清洗的数据是多个维度的，那么很有可能对数据进行关联得到一张最终表进行分析。比如：回答集合的数据里有如下字段：id，optionId，user。包含了谁回答了哪个问题，选项是什么。选项集合的数据里有如下字段：id，question，option。我们最终希望得到的数据集合是：id，question，option，user。那么就需要对两个集合进行关联新建流程如下： ...

kettle数据抽取

10-26

kettle数据抽取包含分组查询，列转行，排序记录，增加常量等

kettle合并记录处理同表数据更新等操作

12-06

kettle合并记录处理同表数据更新等操作.doc

Kettle 排序记录的使用（Sort rows）

weixin_34361881的博客

09-07

3821

排序行的步骤根据您指定的字段和它们是否应该按升序或降序排序当行数超过指定的排序大小（默认为100万行）时候，kettle必须使用临时文件排序行。步骤名称：名称在整个转换中应该是唯一的排序目录：默认当前操作系统的标准临时文件目录临时文件前缀：选择临时文件的前缀，便于识别排序缓存大小：默认内存可以排序100万行数据。存储在内存中的行越多，排序过程就越快，因为必须使用更少的临时文件。未使用内存值：如果排...

Spoon Kettle 合并排序详解（Merge join）

鱼丸丶粗面

08-31

4632

Spoon Kettle 连接之记录集连接详解（Merge join）

[Kettle] 记录处理

Hudas的博客

11-14

2145

本文主要介绍了排序记录、去除重复记录、替换NULL值、过滤记录、值映射、字符串替换、字符串操作和分组这8种常用的记录处理组件

使用Kettle 对记录排序并取前面n条记录的方法

gladmustang的专栏

12-08

1万+

2.1:测试数据准备工作 -- 创建表 CREATE TABLE `tmallorder` ( `datekey` INT(11) NOT NULL,-- 日期 `storename` VARCHAR(50) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL, -- 店铺名称 `goodsname` VARCHAR(50) CH

从官方例子入手（详解排序、分组）——kettle实战（3）

Amour

03-23

1万+

kettle 排序分组一生成记录二生成随机数据三排序记录四排序合并五分组六组序号七替换八写入txt

Kettle 排序记录、去除重复记录、拆分字段、值映射、替换NULL值

zhengzaifeidelushang的博客

10-14

2245

一、排序记录、去除重复记录从Excel中读取数据，去除重复的数据，并保存到Excel。排序记录设置去除重复记录设置源excel数据如下经过排序记录、去除重复记录后数据如下二、拆分字段、值映射拆分字段是把字段按照分隔符拆分成两个或多个字段。注意：拆分字段后，原字段就不存在于数据流中。值映射就是把字段的一个值映射成其他的值。拆分字段设置值映射源数据学号字段经过拆分字段、值映射后数据如下三、替换NULL值替换NULL值就是把null转换为其他的值。替换NUL

kettle 排序记录字段顺序一定要一致！！！！切记！！！

wang_bao_chao的博客

05-18

3063

kettle排序记录

08-12

- *2* [kettle案例六数据表关联--排序记录-记录集连接-过滤记录](https://blog.youkuaiyun.com/q383965374/article/details/78962029)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_...