大数据处理 - 分治/hash/排序

已于 2023-02-21 11:32:15 修改
阅读量362 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 领域算法 文章标签： 哈希算法 数据结构 排序算法 大数据 java
于 2023-02-20 08:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/DeveloperFire/article/details/129078883
本文探讨了在处理大数据时如何运用分治和哈希策略，包括使用哈希映射进行频率统计和使用堆进行排序。通过案例分析，如海量日志IP统计、热门查询提取和大文件中高频词的查找，解释了如何在内存限制下有效地解决问题。总结了多种解决方案，如哈希取模、堆排序和分布式处理。
大数据处理思路: 分而治之/Hash映射 + Hash_map统计 + 堆/快速/归并排序。

思路简介

分而治之/hash映射 + hash统计 + 堆/快速/归并排序，说白了，就是先映射，而后统计，最后排序:

  • 分而治之/hash映射: 针对数据太大，内存受限，只能是: 把大文件化成(取模映射)小文件，即16字方针: 大而化小，各个击破，缩小规模，逐个解决

  • hash_map统计: 当大文件转化了小文件，那么我们便可以采用常规的hash_map(ip，value)来进行频率统计。

  • 堆/快速排序: 统计完了之后，便进行排序(可采取堆排序)，得到次数最多的IP。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据处理 - 外（磁盘文件）排序
DeveloperFire的博客
02-22 271
外排序, 即借助外部存储进行排序.适用范围: 大数据的排序，去重基本原理及要点: 外排序的归并方法，置换选择败者树原理，最优归并树。
大数据处理 - Overview
DeveloperFire的博客
02-19 461
布隆过滤器有着广泛的应用，对于大量数据的“存不存在”的问题在空间上有明显优势，但是在判断存不存在是有一定的错误率(false positive)，也就是说，有可能把不属于这个集合的元素误认为属于这个集合(False Positive)，但不会把属于这个集合的元素误认为不属于这个集合(False Negative)适用范围: 第k大，中位数，不重复或重复的数字；分而治之/hash映射: 针对数据太大，内存受限，只能是: 把大文件化成(取模映射)小文件，即16字方针: 大而化小，各个击破，缩小规模，逐个解决。
大数据的文件归并排序
w1724556613的博客
04-22 750
试想一个场景，如果一份很大很大的数据需要排序，如果你没有足够的内存放入数据，这样子针对内存的内部排序是无法完成的，所以我们必须依靠磁盘去解决这个问题。 第一 将数据分成若干份(我们这里以10份为例子)，每份都接近内存的最大数据量，这样子，将文件上的数据读入内存中，将它排序，结束后我们就可以得到10份有序的文件数据了。 const char* MergeFile(const char* file) { FILE* fout = fopen(file, "r");//传出文件名，打开此文件 if (fout
外排序（大数据文件排序）
jiyang_1的博客
11-23 2190
内排序方法的共同特点是在排序的过程中所有数据都在内存中。但是当待排序的记录数目特别多时，在内存中不能一次处理。必须把他们以文件的形式存放于外存，排序时再把他们一部分一部分地调入内存进行处理。这样，在排序过程中必须不断地在内存与外存之间传送数据。这种基于外部储存设备（或文件）的排序技术就是外排序。 操作系统读写磁盘所需的时间远远超过内存运算时间，基于磁盘（文件）进行的排序多使用归并排序方法。排序分
转载大数据排序 很好的思想
天道酬勤
02-16 233
算法的力量：位运算在排序与搜索中的应用 楔子: 问题:假设一个文件中有9亿条不重复的9位整数，现在要求对这个文件进行排序。 一般解题思路: 1、将数据导入到内存中 2、将数据进行排序　（比如插入排序、快速排序） 3、将排序好的数据存入文件 难题: 一个整数为4个字节即使使用数组也需要900,000,000 * 4byte = 3.4G内存对于32位系统，访问2G以上的内存非常困难...
golang实现大数据量文件的排序
jfcat的专栏
06-02 1467
今天的主题围绕一段go代码展开，这段代码主要实现大数据量的文件排序功能，逻辑并不复杂但是实现过程有些问题做下记录 随机数 类型转换 文件操作 priorityqueue优先级队列 随机数的实现每种语言都有，go语言自然也不例外，官方提供了 math/rand 和crypto/rand ，从官方介绍来说crypto/rand 更多适合安全敏感的范围，这里就用math/rand就满足了。 随机数 随机数还要满足两个要求 产生的结果每个都不一样 产生的数能满足一定的大小 少量重复其实没有什么.
海量数据处理——分治和hash映射
热门推荐
Smile&搁浅
08-10 1万+
什么是Hash      Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，而不可能从散列值来唯一的确定输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数
大数据处理 - Map & Reduce
DeveloperFire的博客
02-22 316
MapReduce是一种计算模型，简单的说就是将大批量的工作(数据)分解(MAP)执行，然后再将结果合并成最终结果(REDUCE)。这样做的好处是可以在任务被分解后，可以通过大量机器进行并行计算，减少整个操作的时间。但如果你要我再通俗点介绍，那么，说白了，Mapreduce的原理就是一个归并排序。适用范围: 数据量大，但是数据种类小可以放入内存基本原理及要点: 将数据交给不同的机器去处理，数据划分，结果归约。
大数据处理 - Bitmap & Bloom Filter
DeveloperFire的博客
02-20 408
布隆在1970年提出了布隆过滤器(Bloom Filter)，是一个很长的二进制向量(可以想象成一个序列)和一系列随机映射函数(hash function)。可用于判断一个元素是否在一个集合中，查询效率很高(1-N，最优能逼近于1)。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。优点: 占用空间小，查询快缺点: 有误判，删除困难这里有必要介绍一下False Positive和False Negative的概念:False Positive: 中文可以理解为“假阳性”，在
hashmap java 排序_Java面试题：如何对HashMap按键值排序
weixin_42195569的博客
02-15 494
Java中HashMap是一种用于存储“键”和“值”信息对的数据结构。不同于Array、ArrayList和LinkedLists，它不会维持插入元素的顺序。因此，在键或值的基础上排序HashMap是一个很难的面试问题，如果你不知道如何解决的话。下面让我们看看如何解决这个问题。1. HashMap存储每对键和值作为一个Entry对象。例如，给出一个HashMap，MapaMap=newHash...
【参考】给大数据量的磁盘文件排序
weixin_30275415的博客
08-04 401
【参考】给大数据量的磁盘文件排序 Eg - 数据结构与算法分析外部排序 noteton 如何给磁盘文件排序 问题描述 输入：给定一个文件，里面最多含有n个不重复的正整数（也就是说可能含有少于n个不重复正整数），且其中每个数都小于等于n，n=107。 输出：得到按从小到大升序排列的包含所有输入的整数的列表。 条件：最多有大约1MB的内存空间可用，但磁盘空间足够。且要求运行时...
文件中海量数据的排序
最新发布
aaa114514aaaa的博客
05-24 1344
有关文件中如果有大量数据，内存无法放下这种情况的解决办法，有详细的解析和代码实现
分治法+Hash处理海量日志数据
03-20 276
海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最...
大数据排序方案---外排序介绍
houzhyan-博客
04-25 2895
原文:http://blog.sina.com.cn/s/blog_62186b4601019uz1.html 我们一般提到排序都是指内排序，比如快排，堆排序，归并排序等，所谓内排序就是能把所有待排序的数据外进内存之中，比如，一个数组之中。但是如果文件太大，文件中的所有数据不能一次性的放入内存之中，快排，堆排序，归并排序等内排序就无法工作了。     比如下面的程序生成了一个包含266
HASH排序
adddais的博客
03-21 4622
HASH排序原理： 将Value值作为下标，存放在一个conut数组里面。以count数组对应下标的值为计重复次数。遍历count数组。对有值的进行打印下标。完成排序。整体的时间复杂度取决于数组最大数字。 代码如下： int a[9] = {123,122,345,678,123,568,122,122,122}; int count[1000] = {}; for (int...
newLisp中的Hash排序
wjqwinn的专栏
06-24 690
newlisp中可以利用Tree来实现某些特定数据出现次数的统计，如 (new Tree 'MyHash) (if (Myhash y) (Myhash y (+ (Myhash y) 1)) (Myhash y 1) )
php大文件怎么排序去重,简单实现大文件的排序和去重
weixin_32661831的博客
03-18 286
有一道校招生的面试题，是要给一个很大的文件(不能全部放内存，比如1T)按行来排序和去重。一种简单解决方案就是分而治之，先打大文件分词大小均匀的若干个小文件，然后对小文件排好序，最后再Merge所有的小文件，在Merge的过程中去掉重复的内容。在Linux下实现这个逻辑甚至不用自己写代码，只要用shell内置的一些命令: split, sort就足够了。我们把这个流程用脚本串起来，写到shell脚本...
hash算法_哈希排序算法
weixin_39808726的博客
10-20 3827
哈希(Hash)算法，就是把任意长度的输入通过散列算法变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来确定唯一的输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。哈希算法性质 如果两个散列值是不相同的，那么这两个散列值的原始输入也是不相同的。如果两个散列值是相...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

毕设王同学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值