行式文本文件去重

原创于 2021-12-29 09:49:18 发布 · 513 阅读

CC 4.0 BY-SA版权

文章标签：

224 篇文章

订阅专栏

本文介绍如何利用esProc SPL脚本处理行式文本文件的去重问题，包括整行去重和关键列比较。对于整行去重，通过读取文件并形成集合实现；对于关键列比较，可以按指定列去重或保留重复，适用于处理如销售订单等数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 整行去重

有一个文本文件，其每一行是一个字符串，要将文件中的重复行只保留一行。处理此问题可以把文件的每一行读成一个字符串，组成一个集合，然后通过集合去重运算得出结果。

示例：报名绘画兴趣班的同学学号姓名记录在paint.txt中，可能有些同学报了多次，请删除文件中重复的报名后保存在paint1.txt中。原文件部分数据如下所示

20121102-Joan

20121107-Jack

20121113-Mike

20121107-Jack

esProc SPL脚本如下：

A1 读出paint.txt的数据，选项@n表示每行读成一个字符串，所有行串组成一个集合返回

A2 删除A1中重复的行

A3 将删除重复行后的A2写入文件paint1.txt中

一个文件，有多列数据，第一行是列名，第二行开始是数据记录，要对文件中关键列的内容进行比较，对关键列内容重复的行进行删除或只保留重复的行。

现有2018年的销售订单表order_2018.txt，部分数据如下所示：

示例1：请求出2018年购买产品的所有不同的客户Id，保存在文件2018c.txt中。

esProc SPL脚本如下：

A1 读入order_2018.txt中数据，T函数会自动根据文件扩展名选用适合的分隔符

A2 取出A1中所有不重复的CustomerId

A3 将A2中的数据写入文件2018c.txt中，T函数会自动根据文件扩展名选用适合的分隔符

示例2：请求出2018年各位客户购买了哪些不同产品，将CustomerId和ProductId保存在文件2018c_p.txt中。

esProc SPL脚本如下：

	A
1	=T("e:/txt/order_2018.txt";CustomerId,ProductId)
2	=A1.group@1(CustomerId,ProductId)
3	=T("e:/txt/2018c_p.txt",A2)

A1 读入order_2018.txt中CustomerId,ProductId两列数据，T函数会自动根据文件扩展名选用适合的分隔符

A2 按关键列分组，@1表示只取分组中的一条记录

A3 将A2中的数据写入文件2018c_p.txt中，T函数会自动根据文件扩展名选用适合的分隔符

示例：请求出2018年回头客(即多次购买同种产品的客户)的订单情况，将结果保存在文件2018c_rebuy.txt中。

esProc SPL脚本如下：

	A
1	=T("e:/txt/order_2018.txt")
2	=A1.group(CustomerId,ProductId)
3	=A2.select(~.count()>1).conj()
4	=T("e:/txt/2018c_rebuy.txt",A3)

A1 读入order_2018.txt数据，T函数会自动根据文件扩展名选用适合的分隔符

A2 按关键列分组, 同一客户购买同种产品的订单分为一组

A3 选出订单数大于1的组，把各组的订单并集为一个数据表

A4 将A3中的数据写入文件2018c_rebuy.txt中，T函数会自动根据文件扩展名选用适合的分隔符

注：以上几例中，如果是csv格式的文本文件，除了文件扩展名不同，脚本的写法是完全一样。