大数据处理 - 分治/hash/排序

大数据处理思路: 分而治之/Hash映射 + Hash_map统计 + 堆/快速/归并排序。

思路简介

分而治之/hash映射 + hash统计 + 堆/快速/归并排序,说白了,就是先映射,而后统计,最后排序:
  • 分而治之/hash映射: 针对数据太大,内存受限,只能是: 把大文件化成(取模映射)小文件,即16字方针: 大而化小,各个击破,缩小规模,逐个解决

  • hash_map统计: 当大文件转化了小文件,那么我们便可以采用常规的hash_map(ip,value)来进行频率统计。

  • 堆/快速排序: 统计完了之后,便进行排序(可采取堆排序),得到次数最多的IP。

海量数据处理思路 海量数据处理思路 海量数据处理 海量数据,不能一次加载到内存中 海量数据topK(最大和最小k个数),第k大,第k小的数 海量数据判断一个整数是否存在其中 海量数据找出不重复的数字 找出A,B两个海量url文件中共同的url 海量数据topK 最大K使用最小堆,最小K使用最大堆,这里以最大K为例 海量数据hash分块 维护最小堆的K个数据的数据容器 堆中数据是topK大的数据,堆顶的数据是第K大数据 先将海量数据hash再取模m,分成m个小文件,hash(num)%m,也可以直接取模 在 阅读详情

相关推荐

数据结构和算法(六):贪心算法、分治算法、回溯算法、动态规划、拓扑排序

贪心算法是指在对问题求解时,总是做出在当前看来是最好的选择,也就是说不从整体考虑,而是从局部看来是最优解,所以贪心算法得到的结果不一定是最优的。贪心算法没有固定的算法解决框架,算法的关键就是贪婪策略的选择,根据不同问题选择不同的策略。贪心算法的适用场景比较有限,更多是用来指导设计基础算法,比如最小生成树算法、单源最短路径算法等。分而治之,就是将原问题分解成n个小问题,解决这些小问题后,将结果合并,就可以得到原问题的解了。

pingguocu3的博客 1538

MIT 6.006算法精髓:从排序、哈希到图与DP的工程实践指南

算法是计算机科学的核心,它通过一系列明确的指令解决计算问题,其效率直接决定了软件系统的性能。算法的核心原理在于对时间和空间复杂度的分析,常用大O记号来衡量其随输入规模增长的趋势。掌握高效的算法能为系统带来显著的技术价值,例如提升数据处理速度、降低资源消耗并支持复杂业务逻辑。在实际应用场景中,排序算法是数据库查询和数据分析的预处理基础,哈希表是实现高速缓存和数据库索引的关键数据结构,图算法支撑着社交网络和路径规划,而动态规划则广泛用于资源分配和序列比对等优化问题。本文基于MIT 6.006课程的经典框架,深入

weixin_34072296的博客 276

数据排序之TopK问题

【前言】在大规模数据处理中,常遇到的一类问题是,在海量数据中找出出现频率最高的前K个数,或者从海量数据中找出最大的前K个数,这类问题通常称为“topK”问题 【解决思路】 针对topK类问题,通常比较好的方案是【分治+trie树/hash+小顶堆】,即先将数据集按照hash算法分解成多个小数据集,然后使用trie树或者hash表统计每个小数据集中的query词频,之后用小顶堆求出每个数据集中出

虐汪狂人巴甫洛夫的博客 6191

海量数据处理:如何从10亿个数中,找出最大的10000个数?(top K问题)

一、问题 有 10 亿个不重复的数字,内存中只能放进 1 万个数,怎么找到最大的 10 万个数字? 这道题的思路是,先拿10000个数建堆,然后一次添加剩余元素,如果大于堆顶的数(10000中最小的),将这个数替换堆顶,并调整结构使之仍然是一个最小堆,这样,遍历完后,堆中的10000个数就是所需的最大的10000个。 复杂度分析 建堆时间复杂度是O(m),堆调整的时间复杂度是O(logm),最终时间复杂度等于,1次建堆时间+n次堆调整时间=O(m+nlogm)=O(nlogm) 这里的n为10亿,m为100

寒泉 7万+

桶结构:从分治思想到工程实践,构建高效数据处理框架

在计算机科学中,分治思想是一种将复杂问题分解为更小、更易处理的子问题的核心方法论。其具体实现形式之一,便是通过设计映射规则将数据或任务分配到不同的逻辑单元中,这一过程常被称为分桶或分区。从数据结构层面看,哈希表利用哈希函数将键映射到桶数组,有效实现了平均O(1)时间复杂度的查找,其关键在于哈希函数的设计与冲突解决策略。在分布式系统与大数据领域,这一思想演化为数据分片与分区技术,成为实现水平扩展和负载均衡的基石,例如数据库按用户ID哈希分区或按时间范围分区,能显著提升查询性能与系统吞吐量。桶结构的技术价值在于

weixin_30385925的博客 323

海量数据处理:有1亿个浮点数,找出其中最大的10000个

第一种方法是将数据全部排序,然后在排序后的集合中进行查找,最快的排序算法的时间复杂度一般为O(nlogn),例如快速排序.而在32位机器上,每个float类型占4B,1亿个浮点数就要占用400M的存储空间,对于一些可以内存小于400MB的计算机而言,显然是不能一次将全部数据读入内存进行排序的.其实即使内存能满足要求,该方法也不高效,因为题目的目的是寻找出最大的10000个数即可,而排序是将所有元素...

李俊标的博客 5439

海量数据实战(0)从两个文件50亿数据中找出相同的URL

问题:给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url? 方案1:可以估计每个文件安的大小为50G×64=3200G,远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 遍历文件a,对每个url求取hash(url)%10000hash(url)%10000hash(url)\%10000,...

机器学习 8968

位图和TOP(K)解法

之前在面试的被问到过10亿QQ号的排序和去重,当时没有考虑过内存的问题,直接就说快排然后去重。后来也想到了hash,但是仍然没有考虑过内存问题。所以在此总结一下此类问题。 位图 位图就是每一位都用来存放状态,适合于大规模数据,因为二进制为0,1,所以有两种状态,存在和不存在的判断。位图其实就是一个数组,只不过每一位都代表了另一个数,也可以看做是直接定址的哈希。 我们将大数先除以32,划分到新的小...

yanchenzhi的博客 669

大数据处理 - 外(磁盘文件)排序

外排序, 即借助外部存储进行排序.适用范围: 大数据的排序,去重基本原理及要点: 外排序的归并方法,置换选择败者树原理,最优归并树。

DeveloperFire的博客 306

手写TopK算法,数据量大于内存

TopK问题从大量数据集合中找出最大(或最小)的K个元素。这里的"大量数据"可能是几千、几万条记录,也可能是数十亿、上万亿条数据;"K"则通常是一个相对较小的整数,如Top10、Top100等。最大TopK:找出数据集中值最大的K个元素最小TopK:找出数据集中值最小的K个元素频率TopK:找出数据集中出现频率最高的K个元素带权TopK:考虑元素权重后找出综合得分最高的K个元素从数学角度,TopK问题可以定义为:给定集合 ( S = {a_1, a_2, …

AI天才研究院 199

大数据处理 - Overview

布隆过滤器有着广泛的应用,对于大量数据的“存不存在”的问题在空间上有明显优势,但是在判断存不存在是有一定的错误率(false positive),也就是说,有可能把不属于这个集合的元素误认为属于这个集合(False Positive),但不会把属于这个集合的元素误认为不属于这个集合(False Negative)适用范围: 第k大,中位数,不重复或重复的数字;分而治之/hash映射: 针对数据太大,内存受限,只能是: 把大文件化成(取模映射)小文件,即16字方针: 大而化小,各个击破,缩小规模,逐个解决。

DeveloperFire的博客 493

海量数据处理:MapReduce法

海量数据处理:MapReduce法 MapReduce适用于大规模数据集(通常大于1TB)的并行运算,核心操作是Map(映射)和Reduce(化简)。Map函数独立地对每个元素进行操作,用于把一组健值对映射成一组新的健值对,即先通过Map程序将数据切割成不相关的区域,分配(调度)给大量计算机处理达到分布计算的效果,然后通过指定并发的Reduce函数来将结果汇总,保证所有映射键值对中的每一个共享相同的键组。 Map是把一组数据一对一地映射为另外的一组数据,其映射的规则由一个函数来指定,例如对【1,2,4,8

zhengzaifeidelushang的博客 1762

海量数据处理 - 10亿个数中找出最大的10000个数(top K问题)

海量数据处理 - 10亿个数中找出最大的10000个数(top K问题) 问题:先拿10000个数建最小堆,然后依次添加剩余元素,如果大于堆顶的数(10000中最小的),将这个数替换堆顶,并调整结构使之仍然是一个最小堆,这样,遍历完后,堆中的10000个数就是所需的最大的10000个。建堆时间复杂度是O(mlogm),算法的时间复杂度为O(nmlogm)(n为10亿,m为10000)。 ...

jacke121的专栏 2781

C++海量数据处理(一): 查重 与 top K问题的分析与实现

查重问题分析与实现 、如何设计大量数据的查重和去重 、程序示例 、top K问题分析与实现 、预备知识 、问题分析和解决方法 、程序示例 、查重+topK 综合应用 、海量数据处理典型题目 、海量数据处理面试题集锦

ZY-JIMMY 2736

OpenClaw(原Clawdbot/Moltbot)本地部署快速指南

支持Telegram、Slack、Discord、iMessage等多平台接入,通过配置文件或环境变量填写对应平台的Token,配置后执行。支持对接OpenAI、Anthropic、阿里云百炼等云端模型,也可搭配Ollama使用本地模型。默认仅允许已配对用户交互,群聊场景建议开启Docker沙箱模式,在配置文件设置。执行后跟随指引确认安全说明,进入QuickStart模式,默认网关端口为。可查看已加载模型,通过绑定的通讯通道发送测试指令,响应正常即部署完成。,限制非主会话操作权限,提升安全性。

wukangjupingbb的博客 8480

【Cadence】PSS+PSTB/PAC仿真在开关电源稳定性分析中的关键应用

本文深入探讨了Cadence仿真工具中PSS+PSTB/PAC方法在开关电源稳定性分析中的关键应用。针对开关电源作为时变非线性系统的特性,传统STB仿真方法会失效。文章详细阐述了如何通过PSS分析找到周期稳态,并在此基础上利用PSTB或PAC进行精确的环路增益和小信号频响分析,为电源设计提供可靠的稳定性评估与补偿网络设计依据。

weixin_29276847的博客 528

AMBA-ATB spec

AMBA-ATB spec 1. ATB总线的用途及版本 1.1 ATB总线用途 一般来说,ATB(Advanced Trace Bus)总线用来在ARM的coresight组件之间传递trace数据。如下图所示: 1.2 ATB总线的版本 ATB(Advanced Trace Bus)共有两个版本,其中v1.0作为AMBA3的一部分,于2006年发布的,而v1.1则是2012年随着AMBA4发布的。ATB规范新增了数据(主要针对trace data)不可知的接口,以便在跟踪系统中根据 AMBA 规范跟

weixin_43781229的博客 7352

deepseek本地部署及应用部署指南

如果你找到的日志是[send] via NET/IB/0,则表示网络通信是通过IB网络的,但是没有开启GDRDMA技术,则会有大致5%的性能损耗(网传,未实测)。新增的环境变量配置,主要用于启用IB网络通信,而非使用以太网进行通信,详细的每一个参数的具体含义,可以在英伟达NCCL的官方网站上找到说明。下一步,我会对已经完成部署的模型进行压测,来探索系统的性能极限在哪里,以及如何在生产环境中何如进行进一步的性能优化,期待你的关注。

weixin_39797121的博客 2627

无人机芯片模块技术要点分析

恶劣环境下信号稳定性:无人机在恶劣环境下工作时,遥感系统采集的信号往往很不稳定,视频信号处理芯片需要具备强抗干扰能力,能辨别脉冲脉宽为50ns以上、幅度为0V~4.5V的输入信号。这种架构能兼顾强大的运算能力和灵活的接口控制。芯片小型化:麻省理工学院的研究人员已设计出仅20平方毫米的微型芯片,可处理无人机飞行所需的惯性数据和相机图像,为微型无人机的发展奠定了基础。光子集成芯片(PIC) :研究显示,与电子芯片相比,光子计算芯片在延迟、计算容量和能效上都有数量级的提升,有望解决当前无人机系统的计算瓶颈。

YUNZHUO666的博客 1408

1.30 Cubemx_STM32H743 SD_Card纳入文件管理系统

Cubemx_STM32H743 SD_Card纳入文件管理系统1、简介2、CubeMX配置 1、简介 和前面文章原理其实一样的。 1.29 Cubemx_STM32F429\H743 nandflash、spifalsh纳入文件管理系统 现在一并将SD卡、NandFlash、SPIFlash一并作为文件管理。 下面直接介绍SDcard,其他参考前面文章。 2、CubeMX配置 ...

oDuanYanGuHong的博客 1080

c++11 无锁队列

/************************************************************************* > File Name: lockfreequeue.cpp > Author: > Mail: > Created Time: Wed 08 Aug 2018 11:38:08 AM CST ********...

qq_35728402的博客 5026

〔重庆理工大学〕大学物理实验--变温霍耳效应及其参数测定

每个老师要求不同,实验报告内容和数据仅供参考。

Pretty Boy Fox的博客 3044

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

上一篇: 大数据处理 - Overview
下一篇: 大数据处理 - Bitmap & Bloom Filter
毕设王同学
博客等级 码龄12年 133粉丝 128原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

毕设王同学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值