大数据文本文件处理工具
关注
分享
扫一扫
海量数据 TXT去重 TXT排序 TXT切分 TXT按条件导出 TXT求交集和补集
zhengzizhi
这个作者很懒，什么都没留下…
展开
-
TXT文本去重 TXT去重 TXT文本合并去重工具 —— 20亿行130GB的数据只需60分钟
例如：多个TXT大数据文本文件合并以及文本行去重 130GB20亿行数据60分钟即可完成去重操作 测试数据大小：20亿行130GB的数据只需60分钟 平均去重速度：2000000000(行) ÷ 3600(秒) = 555555(行/秒)≈55万行/秒以上工具会生成如下格式的测试数据一共4列20亿行（条）：2008-4-25【数据来源于】【编号0255713】培...原创 2020-11-18 12:55:48 · 32058 阅读 · 6 评论
-
大数据 - 文本文件数据提取工具根据设置条件从大文本数据中内导出我们勾选的列文本内容
1. 如果你想按某个分割符号去把长长的一整列数据拆分成多列；2. 如果你想导出拆分后数据，你希望勾选那一列就导出那一列数据，勾选多列就导出多列数据；3. 如果你想让某列按日期范围导出数据，就能按某列的日期范围导出数据；4. 如果你想按某列的数值大小范围导出数据，就能按某列的数值范围导出数据；5. 如果你想按某列文本前缀包含什么内容，就能按设定的前缀条件导出数据；6. 如果你想按...原创 2019-07-09 14:22:29 · 2837 阅读 · 1 评论 -
大数据 - 文本文件数据对比分离去重工具 如何求两个数千GB超大集合的交集和补集
支持文本格式：TXT和CSV（支持文本文件一切数据格式） 作者QQ：24759362运行环境：支持所有Linux系统，苹果操作系统，所有Windows 64位的操作系统需要内存：至少16GB推荐使用固态硬盘（读写速度越高越好）...原创 2020-11-18 12:55:20 · 2419 阅读 · 1 评论 -
大数据 - 120GB的TXT文本文件快速排序工具附带大数据文件按行切分功能
测试数据大小：121GB和152GB，TXT数据格式：一共4列27.5亿行关于如何生成如此大的测试数据文件，请看我的另一篇博客介绍含Java源码代码如何实现一款随机测试大数据生成工具（适用于任何排序算法测速）哈希排序软件运行环境支持操作系统：Windows 7/8/10 64位系统，64位Linux系统和64位苹果操作系统运行内存：16GB Kingmax 1860GHz，通常...原创 2019-11-04 09:51:51 · 5331 阅读 · 0 评论 -
大数据-TXT文本重复行计数工具
大数据文件里过滤出重复行文本并标记出它们重复的次数支持系统类型：Windows 64位系统 Linux 64位系统 苹果64位系统硬盘要求：固态硬盘（有效剩余磁盘空间大小最低3倍于大数据文件的大小）内存要求：最低8G（例如只有几百G数据） 如果处理TB级大数据文件最低需32G内存大数据格式：M行1列 或M行N列原创 2024-03-31 00:50:31 · 1198 阅读 · 0 评论 -
TXT文本大数据手机号码归属地批量归类查询处理工具
手机号码归属地按省份划分大类，同时按手机号码前七位划分小类批量查询处理工具原创 2023-01-03 13:14:16 · 736 阅读 · 1 评论 -
TXT文本大数据比较导出工具
运行环境：支持所有Linux系统，苹果操作系统，所有Windows 64位的操作系统需要内存：至少8GB，推荐使用16G的内存需要固态硬盘：固态硬盘剩余空间必须是被打乱数据大小的3倍，如果只有机械硬盘，也可以运行此软件，就是机械硬盘的速度只有固态硬盘速度的1/10本工具软件理论上 处理数据无上限限制，只要固态硬盘足够大 可以轻松处理超过1000GB的数据对比 数据平均处理速度超过50万条/秒数据简单处理效果截图如下：...原创 2022-05-31 10:40:39 · 1127 阅读 · 0 评论 -
如何实现一款随机测试大数据生成工具（适用于任何排序算法测速）
随机函数会用到软件包： commons-lang3-3.8.1.jar以下代码随机生成27.5亿行测试数据，测试数据大小大约150G左右package com.myth;import java.io.FileOutputStream;import java.io.OutputStreamWriter;import java.util.Date;import java.uti...原创 2019-08-15 16:17:22 · 1362 阅读 · 0 评论