大数据 - 文本文件数据对比分离去重工具 如何求两个数千GB超大集合的交集和补集

原创 已于 2022-12-03 16:35:58 修改 · 置顶 · 2.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #文本文件数据对比分离 #文本文件数据交集和补集

于 2020-11-18 12:55:20 首次发布

支持文本格式：TXT和CSV（支持文本文件一切数据格式） 

运行环境：支持所有Linux系统，苹果操作系统，所有Windows 64位的操作系统

需要内存：至少16GB

推荐使用固态硬盘（读写速度越高越好）

 

 

【大数据】数据集合集！
Kyzy_1919的博客
12-18 853
数据建设与大数据技术知识体系，包含hadoop、hive、spark、flink主流框架和系列框架，数据中台、数据湖、数据治理、数仓建设、数据化转型等。深入浅出数据库存储：数据库理论、关系型数据库、文档型数据库、键值型数据库、New SQL、搜索引擎、数据仓库与 OLAP、大数据与数据中台。Lacus是一个开源大数据平台项目，主要解决大数据采集、存储、分析与计算问题，主要包括元数据、数据采集、数据服务、数据开发。大数据知识仓库涉及到数据仓库建模、实时计算、大数据、数据中台、系统设计、Java、算法等。
txt行去重排序（考虑了大数据）
05-05
前几天上面有一个小任务是对于大数据txt文件，以行为单位去重排序，刚写完，就放了上来，有图形化界面，注释很全面。 有对于小文件的考虑，也有对于大文件的考虑。
文本处理工具 文件去重工具
08-23
文本处理工具 文件去重工具
两个list字段数量相加 去重_大数据场景下的去重方案（SimHash & 布隆过滤器）
weixin_39681161的博客
12-02 369
大数据下的去重一般指的都是模糊去重，通常来讲不是真的去比较两个文件或者段文本，而是通过一些简单方式模糊粗略的比较；一般来讲 如果两个文件或者文本完全相同，那么比较结果一定是相等的，但比较结果相等有极小概率两个文件不相等；下面介绍两种常用的算法SimHash 和 布隆过滤器SimHash算法SimHash算法一般用于网页去重，下面简化为文本去重问题来对算法进行讲解：对于一段文本，首先通过自然语言处理...
TXT文本去重 TXT去重 TXT文本合并去重工具 —— 20亿行130GB的数据只需60分钟
热门推荐
zhengzizhi的专栏
11-18 3万+
例如：多个TXT大数据文本文件合并以及文本行去重 130GB20亿行数据60分钟即可完成去重操作 测试数据大小：20亿行130GB的数据只需60分钟 平均去重速度：2000000000(行) ÷ 3600(秒) =‬ 555555(行/秒)≈55万行/秒 以上工具会生成如下格式的测试数据一共4列20亿行（条）： 2008-4-25【数据来源于】【编号0255713】培...
大数据-开发利器
GY的的专栏
01-28 806
大数据-调查结果 MongoDB-一种非常流行的、跨平台、面向document的数据库。Elasticsearch-专为云计算设计的分布式REST风格的搜索引擎。Cassandra-一个开源的分布式数据库管理系统。最初是Facebook设计和开发的，部署在大量商用服务器上来处理大量的数据。高可用，无单点故障。Redis-开源的（BSD）内存数据结构存储、内存库、缓存、消息代理。Hazel
基于哈希分治与多级排序的大规模URL频次统计系统_100GB超大型URL数据集_Top100高频URL提取_内存优化算法_分布式哈希处理_多级文件分割_高效排序技术_大数据处理框架.zip
最新发布
08-20
在当今的大数据时代，有效地处理和分析海量数据集是至关重要的。尤其是对于包含大量URL的超大型数据集，系统地统计URL出现的频率并从中提取高频URL，对于搜索引擎优化、网络分析和数据挖掘等领域具有极高的应用价值...
医学分割数据集B超图像肾脏分割数据集labelme格式715张1类别
05-16
2. 数据集格式细节：每一个B超图像文件（.jpg格式）都配备了一个对应的标注文件（.json格式）。用户可以通过labelme工具打开和编辑这些图像和标注，进而查看和使用数据集。需要注意的是，数据集中不包含mask文件，这...
超级大文本文件打开工具BareTailProfessional
11-14
BareTail是一款简单好用的大文本文件打开软件...该款工具最大支持打开5.4GB超大txt/log等格式的文件； 方便日志分析、查找； 支持编码切换等实用功能。 注：如需使用，请解压后，打开对应程序“baregreppro.exe”。
医学分割数据集B超图片肝脏分割数据集labelme格式271张1类别.docx
05-16
医学分割数据集B超图片肝脏分割数据集labelme格式271张1类别，顾名思义，这是一个专门针对医学图像分割领域中的肝脏图像进行分割标注的数据集。该数据集包含了271张B超图像及其对应的标注，采用了labelme这一图形...
txt文本去重
03-26
利用Java中hashmap 实现对TXT文本按行去重，进行去重操作后内容顺序不改变。
An文件对比去重整理工具
01-02
对大量文件进行去重，对比，分类。整理在磁盘中。对大量文件进行去重，对比，分类。整理在磁盘中。对大量文件进行去重，对比，分类。整理在磁盘中。对大量文件进行去重，对比，分类。整理在磁盘中。对大量文件进行去重，对比，分类。整理在磁盘中。
Java去重txt文件内容（按行）
11-25
Java去重TXT文件内容，两个TXT文件内容对比去重复，使用了Java8的新特性，所以只能Java8以上即可使用
文件去重的win工具
03-29
文件去重的win工具
txt文本去重神器
01-07
txt文本去重神器,可随身携带,上千万数据去重不到20秒.
探索高效数据去重：`deduplication_mnbvc`项目解析
gitblog_00055的博客
04-22 457
探索高效数据去重：deduplication_mnbvc项目解析 在这个大数据时代，数据清洗和去重是许多应用的基础需求，尤其对于处理大规模数据集时尤为重要。今天我们将深度剖析一个名为deduplication_mnbvc的开源项目，这是一个在GitCode上发布的数据去重工具。通过理解其工作原理、应用场景和技术特点，我们可以更好地利用它优化我们的数据处理流程。 项目简介 deduplication...
大数据量级下常用去重算法的原理和实现介绍
qianshanding0708的博客
10-11 3732
更多内容关注微信公众号：fullstack88801、BitMapBit-map的基本思想就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。（PS：划重点节省存储空间）假设有这样一个需求：在20亿个随机整数中找出某个数m是否存在其中，并假设32位操作系统，4G内存在Java中，int占4字节，1字节=8位（...
【亲测免费】 文本去重利器：Text-Dedup - 简洁高效的文本重复检测库
gitblog_00032的博客
04-26 1154
在大数据时代，无论是搜索引擎优化、学术论文查重，还是日志处理和信息筛选，文本去重都是一个不可或缺的环节。今天，我们向大家推荐一款简洁高效、易于使用的Python库——。这款项目旨在帮助开发者快速实现大规模文本数据的去重任务。 ## 项目简介 Text-Dedup是由程浩 mou 创建的一个轻量级Python库，它利用了TF-IDF（词频-逆文档频率）算法和Jaccard相似度计算方法，有效地找...
一款可以对文本去重对比去重单去重查重的好用软件介绍文本综合处理软件教程
FL1623863129的博客
06-16 4329
文本综合处理软件是一款专门用于重复类型处理文本的软件 （1）可以对比去重，比如文本A和文本B,B中含有A的就去除 （2）可以对单个文本去重 (3)可以查找文本A和文本B相同的文本 （4）可以对文本A和文本B合并去重 (5)可以去除文本中含有重复文本，包括重复文本本身，即有重复全部删除，更多好用软件请关注微信公众号未来自主研究中心 ...
请使用T-SQL流程控制语句求两个数的最大公约数和最小公倍数。
04-02
<think>好的，我现在需要帮助用户找到如何用T-SQL的流程控制语句（比如WHILE、IF）来实现计算两个数的最大公约数（GCD）和最小公倍数（LCM）的示例代码。用户还提到了参考的引用内容，我需要仔细看看这些引用，看看有没有相关的代码或者方法可以借鉴。 首先，用户提供的引用中有几个相关的例子。引用[2]提到了使用T-SQL创建函数来计算最小公倍数，其中使用了WHILE循环和IF条件判断。引用[3]和引用[4]、[5]则讨论了辗转相除法（欧几里得算法）来计算最大公约数，这些是用其他语言实现的，比如C++，但逻辑应该是相通的。而用户需要的是T-SQL的实现，所以可能需要将C++的逻辑转换成T-SQL的语法。 接下来，我需要考虑如何在T-SQL中使用WHILE循环和IF语句来实现辗转相除法。最大公约数的计算通常使用欧几里得算法，即重复用较大的数除以较小的数，直到余数为零，此时的除数就是GCD。然后，最小公倍数可以通过公式LCM(a,b) = (a*b)/GCD(a,b)来计算，但需要注意可能的整数溢出问题，不过T-SQL中整数类型可能需要处理这一点，或者用户可能需要使用更大的数据类型。 在引用[2]中有一个计算最小公倍数的函数，它通过递增的方式查找，但这种方法效率可能不高。而引用[4]中的C++代码则使用了更高效的辗转相除法来计算GCD，并利用GCD计算LCM。因此，将这种算法转换为T-SQL会更高效。 我需要确保T-SQL代码的正确性，包括变量声明、循环条件和计算步骤。例如，在计算GCD时，需要处理输入参数的顺序，确保较大的数在前，或者在循环中自动处理。同时，处理输入为0的情况，避免除以零的错误。 此外，用户可能需要函数或存储过程的形式。引用[2]中的示例是创建一个函数，返回计算结果，这可能更符合用户的需求，因为这样可以直接调用函数并传入参数。 现在，我需要综合这些信息，编写两个函数：一个用于计算GCD，另一个用于计算LCM。在计算GCD的函数中使用WHILE循环实现辗转相除法，而在LCM函数中调用GCD函数，然后应用公式计算LCM。需要注意的是，在T-SQL中，用户定义的函数不能有副作用，所以需要使用适当的变量和返回值。 检查引用[2]中的代码，发现它使用了WHILE循环和条件判断来查找LCM，但效率较低。而结合引用[4]的GCD算法可以提升效率。因此，改进后的GCD函数应该更高效，然后LCM函数可以基于GCD的结果进行计算。 另外，需要注意在T-SQL中，当a或b为0时的处理，避免计算错误。例如，如果其中一个数是0，GCD应该是另一个数，而LCM在这种情况下可能为0或者需要考虑特殊情况。但根据数学定义，0和另一个数的GCD是该数本身，而LCM则为0。不过用户可能需要处理这种情况，或者在函数中添加相应的判断。 综上所述，步骤应该是： 1. 创建计算最大公约数的函数，使用WHILE循环实现辗转相除法。 2. 创建计算最小公倍数的函数，调用GCD函数，然后使用公式(a*b)/GCD(a,b)，但需要处理a或b为0的情况，以及避免整数溢出。 在编写T-SQL代码时，需要注意变量的声明、循环的条件，以及正确处理输入参数的大小顺序，或者在算法中自动处理，例如在每次迭代中交换变量，确保较大的数在前，或者像引用[4]中的代码那样，在开始时交换数值，或者在循环中自动调整。 现在，根据这些思路，开始编写具体的T-SQL代码。首先编写GCD函数： 函数接收两个参数@a和@b，使用WHILE循环，每次计算余数，直到余数为0。在循环体内，将较大的数替换为较小的数，较小的数替换为余数。例如，引用[4]中的C++代码中，max函数处理了这一点，通过交换x和y，使得x始终大于y，但T-SQL中可以不需要显式交换，因为每次迭代会自动处理余数。 不过，在T-SQL中，可能需要处理参数的顺序，或者在循环中动态调整。例如，在每次循环中，计算余数，然后将@a设为@b，@b设为余数，直到@b为0。此时@a就是GCD。 例如，参考引用[3]中的辗转相除法步骤，比如25和10的例子： 25 ÷ 10 = 2余5 10 ÷ 5 = 2余0，所以GCD是5。 在代码中，这可以通过以下步骤实现： DECLARE @a INT = 25, @b INT = 10; WHILE @b <> 0 BEGIN DECLARE @temp INT = @a % @b; SET @a = @b; SET @b = @temp; END 此时@a的值就是GCD。 所以，在T-SQL函数中，可以这样实现： CREATE FUNCTION dbo.Gcd(@a INT, @b INT) RETURNS INT AS BEGIN WHILE @b != 0 BEGIN DECLARE @temp INT = @a % @b; SET @a = @b; SET @b = @temp; END RETURN CASE WHEN @a = 0 THEN 1 ELSE ABS(@a) END; -- 处理0的情况，例如当两个数都是0时，但数学上GCD(0,0)未定义，这里可能需要处理，比如返回1或抛出错误，但根据实际情况调整。 END 这里需要注意，当输入的@a和@b都为0时，GCD是未定义的，但函数可能需要处理这种情况，比如返回0或者其他默认值。不过根据常规，可以返回0或者抛出错误，但这里可能需要根据用户需求调整。例如，如果用户可能传入0，需要添加判断。例如： 如果@a和@b都是0，返回0，否则进行计算。但根据数学定义，GCD(0,0)是未定义的，所以可能需要处理这种情况。 不过，在用户提供的引用[4]和[5]中的代码可能没有处理这种情况，所以暂时假设用户输入的是正整数。 接下来，创建计算最小公倍数的函数，使用公式LCM(a,b) = (a*b)/GCD(a,b)。但需要注意，当a或b为0时，LCM为0。同时，在T-SQL中，乘法可能导致整数溢出，所以可能需要转换为BIGINT，或者处理溢出错误。 例如： CREATE FUNCTION dbo.Lcm(@a INT, @b INT) RETURNS INT AS BEGIN IF @a = 0 OR @b = 0 RETURN 0; DECLARE @gcd INT = dbo.Gcd(@a, @b); RETURN ABS(@a * @b) / @gcd; END 但这里需要注意，当@a*@b超过INT的范围时，会溢出，所以可以转换为BIGINT： RETURN ABS(CAST(@a AS BIGINT) * CAST(@b AS BIGINT)) / @gcd; 但函数的返回类型需要改为BIGINT，或者用户可能希望返回INT。这需要根据实际情况调整。 不过，在用户提供的引用[2]中，使用的是INT类型，所以可能按用户需求使用INT，但需要注意溢出问题。例如，如果用户处理的数值较大，可能需要调整，但在此示例中，暂时使用INT。 现在，将这两个函数结合起来，用户就可以调用dbo.Gcd和dbo.Lcm来计算结果。 测试用例： 例如，计算Gcd(25,10)应返回5，Lcm(25,10)应返回50。 另一个测试用例，Gcd(0,5)，根据函数中的处理，如果函数中在@b为0时结束循环，此时@a的值是5，所以返回5。Lcm(0,5)返回0。 同样，Gcd(0,0)的情况，函数中的循环不会执行，@b初始为0，所以直接返回@a，此时是0。但可能需要处理这种情况，比如在函数中添加条件判断，如果两个参数都是0，返回0或其他值。但根据当前函数，当输入@a=0和@b=0时，循环不执行，返回@a=0，这可能不符合数学定义，但用户可能需要处理这种情况。不过，用户的问题中没有特别提到这种情况，可能暂时忽略，或者在函数中进行处理。 现在，根据上述思路，编写具体的T-SQL代码示例，包括函数创建和使用示例。 在用户提供的引用[2]中，有一个计算最小公倍数的函数，但使用了逐次递增的方法，效率较低。而这里使用GCD的方式更高效。所以，用户的问题需要结合引用中的例子，但优化方法。 总结，最终的T-SQL代码应包括两个函数：Gcd和Lcm，使用WHILE循环和IF条件判断，符合用户使用流程控制语句的需求。</think>以下是通过T-SQL流程控制语句实现最大公约数（GCD）和最小公倍数（LCM）的完整示例： ### 最大公约数（GCD）实现 使用**辗转相除法**（欧几里得算法），通过WHILE循环控制计算过程： ```sql CREATE FUNCTION dbo.Gcd(@a INT, @b INT) RETURNS INT AS BEGIN WHILE @b != 0 BEGIN DECLARE @temp INT = @a % @b SET @a = @b SET @b = @temp END RETURN CASE WHEN @a = 0 THEN 1 ELSE ABS(@a) END -- 处理0值输入的特殊情况 END -- 示例调用 SELECT dbo.Gcd(25, 10) AS GCD -- 输出: 5 ``` ### 最小公倍数（LCM）实现 基于公式$LCM(a,b) = \frac{|a \times b|}{GCD(a,b)}$，结合IF判断和GCD函数： ```sql CREATE FUNCTION dbo.Lcm(@a INT, @b INT) RETURNS INT AS BEGIN IF @a = 0 OR @b = 0 RETURN 0 -- 特殊值处理 DECLARE @gcd INT = dbo.Gcd(@a, @b) RETURN ABS(@a * @b) / @gcd END -- 示例调用 SELECT dbo.Lcm(25, 10) AS LCM -- 输出: 50 ``` ### 组合验证 ```sql DECLARE @x INT = 28, @y INT = 16 SELECT dbo.Gcd(@x, @y) AS GCD, dbo.Lcm(@x, @y) AS LCM -- 结果：GCD=4，LCM=112 ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值