海量数据流的最佳算法实战

海量数据的处理问题 在实际中,经常会碰到对大量数据的处理问题,这就需要合理地应用数据结构和算法,从而提升数据处理效率。以下归纳总结几种海量数据处理的常见问题。 1、如何在1亿个数据中找到最大的100个数 错误想法:对数据进行快速排序,最佳时间复杂度为O(nlogn),但需要一次性将所有数据读入内存,导致内存占用过多且全部排序没必要。 正确方法:分冶法+最小堆排序 原理:将数据划分为100块,将数据块分配给多台服务器,每个cpu处理一块数据,采用最小堆排序,读入前100个数来建立大小为100的最小堆(建堆的时间复杂度为O(mlo 阅读详情

原文:Best-Ever Algorithm Found for Huge Streams of Data
作者:Kevin Hartnett
翻译:无阻我飞扬

摘要:为了高效地分析海量的数据,科学家首先要将大数打破成碎片。作者循序渐进地阐述了一个处理海量数据流的最佳流式算法,算法经过不断改进,是超大规模数据流高性能分析的新算法,以下是译文。

这里写图片描述

当从消防水带出来的水冲击你的脸部时,很难计量水。从某种意义上说,这正是分析数据流所面临的挑战,数据源源不断地向我们奔流而来,永不停息。如果在Twitter上看一篇篇推文不停闪过,你可能想要暂停一下,以便弄清楚时下的流行话题是什么。话虽这么说,但这行不通,所以需要找到一种方法,以便实时记录主题标签。

执行这种实时计算的计算机程序称为流式算法。因为数据以庞大的量持续不断地出现,流式算法试图记录下重要的数据,同时战略性遗忘其余数据。30多年来,计算机科学家一直致力于构建更好的流式算法。去年秋天,一个研究小组发明了一种近乎完美的算法。

哈佛大学的计算机科学家杰拉尼·尼尔森(Jelani Nelson)表示:“我们开发了一种新算法,从各个标准维度来看,也是最好的算法”,他与丹麦奥胡斯大学的卡斯珀·格林·拉森(Kasper Green Larsen)、哥本哈根大学的迈克尔·托鲁普(Mikkel Thorup)以及东北大学的阮惠(Huy Nguyen)一起提出了这个新算法。
这里写图片描述
哈佛大学的理论计算机科学家杰拉尼·尼尔森与别人共同开发出了新算法。
图片来源:Yaphet Teklu

这种一流的流式算法的工作原理是,通过记住足够多的数据来告诉你它最常看到的是什么。这表明在数据流分析中固有的折衷实际上似乎并不必要。这也为战略性遗忘的新纪元指明了前进的道路。

发现趋势

流式算法在监视连续不断更新的数据库的任何情况下都是有帮助的。这可能是AT&T持续不断的选项卡数据包或者Google绘制永无止境的搜索查询流程。在这些情况下,流式算法是非常有用的,甚至是必要的,即使没有重新检查或甚至记住你所见过的每一段数据,都有一种方法来回答数据方面的实时问题。

这里有一个简单的例子。假设有一连串的数字,想知道目前为止你所看到的所有数字的总和。这种情况下,很显然不是记住每一个数字,只需要记住一个数字:累计总数。

然而,当想问的关于数据的问题变得更复杂时,这个挑战就更难了。想象一下,假设不是想计算总和,而是想回答以下问题:哪些数字最常出现?看不太出来有什么捷径可以快速给出正确的答案。

这个特殊的谜题被称为“频繁项”(frequent item,或heavy hitter)问题。解决这个难题的第一个算法是在20世纪80年代初由康奈尔大学的大卫·格里斯(David Gries)和得克萨斯大学奥斯汀分校的贾亚德夫·米斯拉(Jayadev Misra)开发的。他们的算法在许多方面是有效的,但却不能处理所谓的“变化检测”。它可以告诉你最常搜索的词语,但是无法告诉哪些词语很流行。以Google为例,它可以将“维基百科”视为一个受欢迎的搜索词语,却发现不了与艾尔玛飓风等重大事件相伴随的热搜。

沃里克大学的计算机科学家格雷厄姆·科尔莫德(Graham Cormode)说:“这是一个编码问题 ——你将信息编码为简洁的摘要,并尝试提取信息,让你恢复最初的内容。”

在接下来的30多年里,科尔莫德和其他计算机科学家改进了Gries和Misra的算法。比如说,一些新的算法能够检测出流行词语,另一些算法能够更精细地定义某个词语怎样才算是频繁词语。所有这些算法都有其弊端,比如牺牲速度以换去准确性,或者牺牲内存消耗来保证可靠性。

这方面的工作大多数依赖索引(index)。想象一下,设若你试图识别频繁的搜索字词。一个办法就是为英语中的每个单词分配一个编号,然后将该编号与跟踪该词搜索了多少次的第二个编号配对起来。也许“aardvark” 以单词编号17被编入索引,并在数据库中显示为(17,9),意思是单词编号为17的单词已被搜索9次。这种方法离将最频繁的项放在手边更近了一步,因为在任何特定时刻,你知道每个单词到底被搜索了多少次。

尽管如此,它还是有缺点的,那就是要花很多的时间用一个算法来梳理英语中成千上万的单词。

但要是字典里只有100个单词,将会怎么样?罗伊·尼尔森说:“遍历字典中的每个单词花不了太长时间。”

可惜,字典里的单词数量实在是太多了。正如新算法的作者发现的那样,除非你可以把大字典分解成更小的字典,并找到一种巧妙的方法把它重新组合起来,否则无计可施。

小数据

小数字比大数字容易跟踪。

想象一下,假如你正在监视0到50000000之间的一个数字流(这项任务类似于按照IP地址来记录互联网用户)。可以使用50000000项索引来跟踪这些数字,但是很难处理这么庞大的索引。更好的方法是把每个八位数字视为连接在一起的四个两位数字。

设若看到数字12345678。一种高效记忆的方法是将其分解成四个两位数块:12,34,56,78。然后,可以将每个块发送给计算项目频率的子算法:12发给子算法一,34发给子算法二,56发给子算法三,78发给子算法四。

每个子算法都为它看到的内容建有各自的索引,但由于每个版本都不会看到比两位数大的索引,所以每个索引只是从0到99。

这种分拆的一个重要特点是,如果大数字——12345678 在整个数据流中频繁出现,其两位数字块部分也将频繁出现。如果要求每个子算法识别出最常看到的数字,子算法一会给出12,子算法二将给出34,依此类推。只要在四个短得多的列表中查找频繁项,就能够找到庞大列表中最常见的内容。

这里写图片描述
图片来源:Lucy Reading-Ikkanda/《Quanta》杂志

尼尔森说:“不是花5000万个时间单位遍历整个宇宙,只是四个算法,花了100个时间单位。”

这种分而治之策略存在的主要问题是,虽然很容易把一个大数字分解成小的数字,但将小数重新组合成大数比较棘手— 很难找出正确的小数来重新组合,从而获得正确的大数。

想象一下,你的数据流通常包含几个数字相同的两个数:12,345,678和12,999,999。两者都从12开始。你的算法将每个大数字分成四个较小的数字,然后将每个小数字发送给子算法。然后你问每个子算法,“哪些数最常看到?”子算法1将会说:“我经常看到数字12.” 一种算法试图识别是哪个八位数字,在这种情况下,经常不知道这些12是属于其中某一个八位数的,还是属于该例中两个不同的八位数的。

尼尔森说:“难就难在搞清楚哪些两位数块与另外哪些两位数块连在一起。”

新算法的作者通过将每个两位数块封装成一个不占用大量内存的小标签来解决这个困境,但是仍然允许算法将两位数的块以正确的方式重新组合在一起。

要查看标签如何工作的简单方法,不妨从12,345,678开始,并将其拆分成两位数块。但这一次,在将每个块发送到其各自的子算法之前,使用一对唯一的标识号封装块,标识号可以将块重新组合在一起。这些标签中的第一个用作块的名称,第二个标签作为环。这样一来,12345678成为:

12, 0, 134, 1, 256, 2, 378, 3, 4

这里,数字12的名称为“0”,并链接到名为“1”的数字。数字34的名称为“1”,并链接到名为“2”的数字,依此类推。

现在,当子算法返回最常见的两位数字块时,12找寻一个标有“1”的数字,从而找到34,然后34找寻一个标有“2”的数字,从而找到56, 56找寻一个标有“3”的数字,从而找到78。

这么一来,可以把两位数字块视为链中的环,并通过这些额外的标记号将这些环连接在一起。

当然许多链的问题在于,其牢固性完全取决于最薄弱的那一环。而这些链几乎可以保证会断掉。

构建块

没有一种算法能在每次运行时都完美地运行——即使最好的算法也会在很小的一段时间内失效。在上述的例子中,一个失效可能意味着第二个两位数的块,34,被分配了一个不正确的标签,结果就是当它去找寻它应该连接的块时,它没有找到56所需要的信息。一旦链中的一个环节失败,整个工作就土崩瓦解了。
这里写图片描述
哥本哈根大学的计算机科学家迈克尔·托鲁普帮助开发了一种防止错误的方法来记住数据。
图片来源:UNIAVISEN.DK

为了避免这个问题,研究人员使用所谓的“扩展图”。在扩展图中,每两个数字块形成一个点。这些点按线连接(遵循上述的标记过程)形成一个聚类。扩展图的一个重要特点是,不只是将每个点与其相邻的块连接起来,而是将每个两个数字块与多个其它块连接起来。以12345678为例,不仅将12与34连接,也与56连接,这样即使12和34之间的链接失败,仍然可以知道12和56属于同一个数字。

扩展图的结果并不总是完美的。有时它无法链接本该链接的两个块,或者会链接不属于一起的两个块。为了克服这个不足,研究人员开发了其算法的最后环节:“聚类保留”子算法,它可以调查扩展图,准确地确定哪些点旨在聚合起来、哪些点不是,即使某几条线丢失、虚假线添加上去也没关系。

托鲁普说:“这确保我可以恢复看起来酷似原始聚类的内容。”

虽然Twitter不会明天就使用这个扩展图,但其底层技术适用于解决极其广泛的计算机科学问题,而不是仅仅用来统计推文。该算法还证明了不需要作出某些牺牲,也即以前在回答频繁项目问题的时候似乎非常必要的牺牲。以前的算法总是放弃一些东西——准确性很高,但很费内存,或者速度很快,但是无法确定哪些频繁项很流行。这个新的算法表明,若有正确的方法来编码大量信息,你最后能够集众者之所长:不仅可以存储频繁项,还可以取回频繁项。

海量数据AtlasDB:把“乐动体育数据库好用”这件事做到极致 当前,我国在信息技术应用、大数据分析等技术领域已跻身世界前列,但由于数据库和上下游技术构成了难以分割的兼容生态,突破它需要人才、技术、产品的不断积累和打磨,所以数据库的研发是一场持久战,更是一项立体化工程。 从12年前开始,海量数据就在积蓄各方面力量,为今天、为未来的数据库技术角逐做准备。12年坚持专注数据,不断积累实践经验,经历大量场景验证,为了交付更安全、可靠、有质量的产品,海量数据一直在追求... 阅读详情

相关推荐

请问海量数据如何去取最大的K个

这可能是形而上学很有深度一个算法题目,因为这个会的人能天马行空设计出绝妙的算法,不会的人可能连题目都无处下手。海量数据top K问题,在互联网大厂的产品中到处体现出来,比如微信的计步软件,统计出K名,然后进行排序。 当然类似的题目还有有一亿个浮点数,如何找出其中最大的10000个。这里面其实涉及代码技能就是内存的处理以及数据的去重优化,把本来需要占大量内存空间的海量数据通过各种方法处理出来。以下有几种方法,包括最蠢和最明智的方案,在面试中可以供你吹水。 内存允许的情况下,直接全部排序 这可能是最直接简

dream it possible 796

前端数据分析分类处理,数组去重

目的:把[{},{},{}]类似数据分类处理成,[{key:2019-05-1;list:[]},{key:2019-05-2,list:[]}] 第一步: 拿到后台数据 //现有数据 let datalist = [{date:2019-05-1,name:Heroine,content:今天天气真好}, {date:2019-05-1,name:人间失格,content:今天天气真好}, ...

weixin_45397693的博客 445

白话机器学习算法理论+实战番外篇之LightGBM

1. 写在前面 如果想从事数据挖掘或者机器学习的工作,掌握常用的机器学习算法是非常有必要的,在这简单的先捋一捋, 常见的机器学习算法: 监督学习算法:逻辑回归,线性回归,决策树,朴素贝叶斯,K近邻,支持向量机,集成算法Adaboost等 无监督算法:聚类,降维,关联规则, PageRank等 我前面已经尝试用最白话的语言完成了一个白话机器学习算法理论+实战系列,这个系列已经基本包含了上面这些算...

Miracle8070 1万+

数据分析--十大算法

一、学习路线 二、算法 C4.5 决策树算法,在创建的过程中进行剪枝,并且可以处理连续的属性,也可以对不完整的数据进行处理。他是决策树算法中具有里程碑式的算法。 朴素贝叶斯(Naive Bayes) 基于概率论的原理。基本思想:对于给出的具体物体想进行分类就要 算出这个物体出现条件下各个类别出现的概率,那个概率最大,该物体就属于哪一类。 SVM 支持向量机算法。SVM在训练过程中建立了超平面的...

huzai9527的博客 2万+

数据流集成分类算法综述

详细介绍了国内外集成分类算法,对集成分类算法的两个部分(基分类器组合和动态更新集成模型)进行了详细综述,明确区分不同集成算法的优缺点,对比算法和实验数据集。并且提出进一步的研究方向和考虑的解决办法。

TensorFlow GPU版本安装步骤-Windows系统

本文由在Windows下安装TensorFlow GPU版本教程-优快云等整理得到。 目录 1、确认显卡是否支持CUDA 1.1 查看显卡信息 打开“设备管理器”,查看显卡信息,如下图所示: 由上图知,本电脑的显卡为NVIDIA Quadro P400. 1.2 查看支持CUDA的显卡 网址:https://developer.nvidia.com/cuda-gpus 经查询可知,该显卡支持CUDA,如下图所示: 2、安装CUDA 2.1 下载CUDA 网址:https://developer.nvi

x_lingyun的专栏 766

数据分析各种算法的总结;

常用机器学习算法比较 聚类算法总结 聚类的定义: 聚类也称为聚类分析,指将样本分到不同的组中使得同一组中的样本差异尽可能的小,而不同组中的差异尽可能的大。 聚类得到的不同的组称为簇,发现对象簇,使得同一个簇内的对象尽量相似,不同簇间的对象尽量不同。 聚类和分类的区别 无监督学习与分类不同,没有事先定义的类别标记。分类是一种监督学习,聚类是一种无监督学习,二者最主要的区别是聚类的样本没有类标号,而...

weixin_42712867的博客 3703

5.44GHz超高精度!STM32G474的HRTIM时钟配置避坑指南

本文深入解析STM32G474内置高分辨率定时器的时钟配置要点,帮助工程师避开常见陷阱。文章详细阐述了从系统时钟到5.44GHz等效时基的路径,重点分析了预分频器乘法器、周期计算溢出、影子寄存器同步等关键配置,并结合实测波形对比,确保HRTIM在电机控制、数字电源等精密应用中发挥极限性能。

book8的博客 526

数据分析的常见算法

十大数据分析算法 1.C4.5(分类决策树) 决策树算法需要解决的两个主要问题: 1)先选择哪个属性,后选择哪个属性来进行分裂?2)什么时候树停止生长? 这里,C4.5算法是这样解决的: 1)用信息增益(熵差)率来选择属性分裂;2)构造树的过程中进行剪枝操作降低过拟合风险。 这里引出“信息熵”的概念。“熵”是对混乱程度的度量,越乱熵越大,是一个度量样本集合纯度最常用的指标。划分节点处到底用哪个属性的时候,希望节点处属性纯度大,也就是熵更小。 2.K-均值算法 3.SVM 4.Apriori算法 衡

phthon1997的博客 8852

FreeRTOS --(15)信号量之概述

FreeRTOS 中使用信号量来做同步,信号量可以在任务中使用作为任务与任务间的同步,也可以在中断中使用(带 FromISR 的版本)中断与任务间的同步; 针对不同的应用场景,信号量分为两种: 1、二值信号量; 2、计数信号量; 1、二值信号量 1.1、Usage 顾名思义,二值信号量只有两个值:0 和 1;它用于简单场景下的任务与任务、中断与任务之间的同步,比如:一个任务,在等待某个资源到位后,才能够继续执行,在得到这个资源之前,它处于阻塞状态,假如一个中断来了,给出了这个资源,那么.

StephenZhou 6519

告别信号毛刺!手把手教你用ADS和IBIS-AMI模型搞定PCIe Gen3眼图仿真

本文详细介绍了如何使用Keysight ADS和IBIS-AMI模型进行PCIe Gen3眼图仿真,解决高速信号传输中的信号质量问题。从仿真环境搭建、S参数预处理到眼图优化与故障排除,提供了一套完整的工程实践指南,帮助工程师提升PCIe Gen3接口的信号完整性。

weixin_28366053的博客 371

9种常用的数据分析方法

一、公式拆解 所谓公式拆解法就是针对某个指标,用公式层层分解该指标的影响因素。 举例:分析某产品的销售额较低的原因,用公式法分解 image.png 二、对比分析 对比法就是用两组或两组以上的数据进行比较,是最通用的方法。 我们知道孤立的数据没有意义,有对比才有差异。比如在时间维度上的同比和环比、增长率、定基比,与竞争对手的对比、类别之间的对比、特征和属性对比等。对比法可以发现数据变化规律,使用频繁,经常和其他方法搭配使用。 下图的AB公司销售额对比,虽然A公司销售额总体上涨且高于B公.

hanxiaolaa的博客 3386

库存管理系统项目部署方案(基于jdk8)

不需要安装到服务器,运维本地安装就行,主要是用来编译前端代码的。构建完成后将dist文件夹复制到服务器内。

程序员诚哥 2578

海量数据相关面试问题(一):海量数据文件排序问题(Bitmap、多路归并算法)

文章目录前引海量数据相关面试问题(一):海量数据文件排序问题(Bitmap、多路归并算法)1、如何给磁盘文件排序1、一些相关问题的 遐想总结2、bitmap排序(对于数据重叠无能为力/可排除重复数字)1、bitmap排序 思路介绍2、bitmap排序 代码实现(代码中排序数组大小为10000000)2、bitmap排序 结果验证3、多路归并算法(内部排序 + 外部排序)1、多路归并算法 思路介绍2、多路归并排序 代码实现(代码中排序数组大小为10000000)3、多路归并算法 结果验证2、浅浅总结一下 前

Love 6's Private Blog 1789

【2026华为OD新规机考】最新套题持续更新【完全原创题解 | 详细考点分类 | 不断更新题目 | 六种主流语言Py+Java+Cpp+C+Js+Go】

可上练习华子OD、大厂真题绿色聊天软件戳od1441了解算法冲刺训练(备注【优快云】否则不通过)

weixin_48157259的博客 511

北斗导航 | 卫星信号捕获跟踪原理解析

卫星信号的捕获与跟踪是导航接收机的"眼睛",其性能直接决定定位精度、动态适应性和抗干扰能力。随着北斗三号全球组网完成,新一代接收机正朝着。两大核心阶段,二者共同构成定位的基础。调制,频谱主瓣宽度达4.092MHz,较传统BPSK调制抗干扰能力提升3dB[38]。的目标持续演进,在自动驾驶、精密农业等领域展现出巨大应用潜力。二维空间中搜索峰值相关能量[4]。卫星导航接收机对信号的处理可分为。北斗三号B1C/B2a信号采用。北斗三号新增的B1C信号采用。

尘世冰封的专栏 783

[排序算法] 12. 外排序基本概念及针对海量数据排序处理方法(海量数据、外排序)

文章目录1. 外排序的基本过程2. 海量数据的外排序2.1 位图2.2 MapReduce3. 常见题目解析 1. 外排序的基本过程 外排序的基本方法是归并排序法,它分为两个步骤: 生成若干个初始归并段(顺串):将一个文件(含待排序的数据)中的数据分段读入内存,在内存中对其进行内排序,并将经过排序的数据段(有序段)写到多个外存文件上。 多路归并:对这些初始归并段进行多遍归并,使得有序的归并段逐渐...

Y-puyu 的博客 967

tinyddp使用详解

tinyddp使用详解: 1、创建服务端,客户端 2、远程调用 3、发布订阅 4、设置日志

LDC,公众号【轻松学编程】 218

算法学习(七)有内存限制的海量数据排序

磁盘文件排序问题描述: 输入:给定一个文件,里面最多含有n个不重复的正整数(也就是说可能含有少于n个不重复正整数),且其中每个数都小于等于n,n = 10^7。 输出:得到按从小到大升序排列的包含所有输入的整数的列表。 条件:最多有大约1MB的内存空间可用,但磁盘空间足够。且要求运行时间在五分钟以下,10秒为最佳结果。 分析: 首先注意的是它的内存要求,基本上否决了大多数的排序算法。 文

shitangdejiaozi的博客 8092

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

【白话机器学习】算法理论+实战之LightGBM算法

1. 写在前面如果想从事数据挖掘或者机器学习的工作,掌握常用的机器学习算法是非常有必要的,在这简单的先捋一捋, 常见的机器学习算法:监督学习算法:逻辑回归,线性回归,决策树,朴素贝叶斯,...

fengdu78的博客 2801

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

【时间序列预测】海量数据多变化点相关时间序列研究

时间序列预测在诸多领域扮演着至关重要的角色,从经济预测到天气预报,其应用范围广泛且影响深远。然而,当面对海量数据,尤其是存在多个变化点(Change Points)的相关时间序列时,传统的预测方法往往难以胜任。针对此类复杂情况的研究,已成为当前时间序列分析领域的一个重要课题。海量数据的涌现为我们提供了更为丰富的潜在信息,但也带来了存储、计算和噪声等诸多挑战。如何有效地提取并利用这些信息,避免“数据沼泽”,是亟待解决的问题。

j_jinger的博客 1040

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

智能算法选择:AI大模型根据问题特征推荐最佳算法实现

AI大模型通过深度学习和模式识别技术,能够精准分析问题的特征,如数据类型、规模、复杂度等,从而推荐最适合的算法实现,大大提高了AI应用开发的效率和准确性。

rengang66的博客 742
上一篇: 如何为微服务选择数据库
下一篇: 开发者和工程师的区别?
csdn研发技术
博客等级 码龄9年 1381粉丝 90原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值