分析并统计数据量为TB,PB级别的文档中的数据

好男儿心胸像大海

于 2018-03-09 17:33:21 发布

阅读量6.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： Java 文章标签： java

本文链接：https://blog.youkuaiyun.com/wangyi201212/article/details/79497031

Java 专栏收录该内容

10 篇文章

订阅专栏

这篇博客探讨了如何处理10TB大小的文本文件，每个包含0-10000随机数的行。文章首先提出了直接读取并排序的方案，但由于内存限制，该方案不可行。接着，作者引入了分治思想，将大文件分割成子文件，分别处理并找出子文件内的最大值，最终组合出全局最大的1000个数字。这种方法有效避免了内存问题。文章还提到了代码实现已上传至Git仓库。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一. 问题描述:
假设有一个10TB大小的文本文件test.txt，文本中每一行是一个0-10000的随机数, 现在要统计出文件中最大的1000个数字，请提出解决方案，并通过代码实现。
二.解决方案
方案1:
(1)读取文本文件中的数据, 存入数组或者列表(列表底层是通过数组实现的)中, 将数组或者列表进行排序，取出前1000个或者后1000个数据即可。
(2)这种解决方式有缺陷吗，数组能存下那么多数据吗, 接下来计算一下：
10TB=10*1024GB=10*1024*1024MB=10*1024*1024*1024KB = 10*1024*1024*1024*1024B;
int类型占4个字节;
需要数组的长度：10TB/4B=10*1024*1024*1024*1024B/4B = 2748779069440
(3)java中,数组能存放数据的最大长度是多少呢
定义数组的时候必须有一个初始化的长度： int[] array = new int[10];，初始化的长度是一个int类型的，
4个字节=32位，最大值为2的31次幂减1，即2147483647，大于 2748779069440。
(4)结论：存不下
方案2:
(1)采用分而治之的思想解决(将10T文件分成若干子文件，读取每一个子文件的数据存入数组中，对每一个数组进行排序，最后将所有数组进行一定的操作，取出最大的1000个数字即可)
(2)注意要确定子文件的大小和切割的子文件个数。
(3)代码在git上：点击打开链接