5分钟搞懂Heavy Hitters:从Misra-Gries到Space Saving的实战对比

C++ Sketch数据结构库:海量数据近似统计的高性能实现 在处理海量数据流时,精确计算常因内存和性能限制变得不可行,概率性数据结构(Probabilistic Data Structures)应运而生,成为解决这一难题的关键技术。其核心原理是通过可控的精度损失,换取内存使用量的大幅降低和查询速度的显著提升,实现了空间、时间与精度之间的高效权衡。这类数据结构的技术价值在于,它们能够对数据流的统计特征(如频率、基数和分位数)进行快速近似估计,从而支持实时监控、网络分析等对延迟敏感的场景。以Count-Min Sketch和HyperLogLog为代表的Sketch家族 阅读详情

从理论到实战:深度解析Heavy Hitters三大计数算法

在数据洪流的时代,我们每天面对的是TB甚至PB级别的日志、点击流和交易记录。一个经典且棘手的问题是:如何从这永不停歇的数据流中,快速识别出那些“最活跃”的元素?比如,在每秒百万级的广告曝光请求中,找出点击率最高的广告创意;或者在海量的网络流量中,实时监控访问最频繁的IP地址。这就是Heavy Hitters(频繁项)问题,它不仅是学术研究的宠儿,更是工业界流处理系统的核心挑战。

传统的解决方案,比如用一个巨大的哈希表记录每个元素出现的次数,在数据量面前立刻显得苍白无力。内存的有限性与数据的无限性构成了根本矛盾。于是,一系列精巧的、允许一定误差的近似算法应运而生,它们用可控的内存消耗,换来了对“频繁项”的可靠洞察。今天,我们不谈空泛的理论,而是聚焦于最主流、最实用的基于计数器(Counter) 的算法家族,深入剖析Misra-Gries、Lossy Counting和Space Saving这三兄弟的设计哲学、实现细节与实战表现。你会发现,选择哪种算法,远不止是看论文里的误差界,更是一场关于内存、精度、吞吐量和实现复杂度的精妙权衡。

1. 算法核心思想:从多数派问题到通用频繁项

要理解这些复杂的流算法,不妨从一个简单的起点开始:多数派问题(Majority Vote Problem)。

想象一下,你有一长串选票,需要找出得票数超过总票数一半的候选人(如果存在的话)。一个聪明且只需O(1)额外空间的方法是“对消法”:我们维护一个当前的“候选者”和一个计数器。遍历选票时,如果当前票投给候选者,计数器加一;否则减一。当计数器减到零,我们就抛弃当前的候选者,将下一张票的得主设为新的候选者。遍历结束后,剩下的候选者就需要被验证是否真的超过半数(因为可能不存在这样的候选者)。

这个算法的妙处在于,它把“计数”问题转化为了“对消”问题。即使无法记住每一张票,我们也能通过成对消除非主流意见,让主流声音浮现出来。

Misra-Gries算法正是这一思想的直接推广。它不再只找一个超过半数的元素,而是试图找出所有出现频率超过 总流长度m / k 的项(最多k-1个)。为此,它维护一个大小为 k-1 的“监控列表”,里面存放着候选元素及其计数器。处理流中每个元素时,逻辑如下:

  1. 命中:如果元素已在列表中,其计数器加一。
  2. 插入:如果元素不在列表中且列表未满,将其加入,计数器设为1。
  3. 对消:如果元素不在列表中且列表已满,则将列表中所有计数器减一,并将减至零的项移除。

这个“对消”操作是整个算法的精髓。它相当于一次小型的全局清洗,为潜在的新频繁项腾出空间。其理论保证是:对于任何元素j,算法估计的频率 f'_j 满足: f_j - (m - m')/k <= f'_j <= f_j 其中 f_j 是真实频率,m' 是所有计数器之和。这意味着估计值永远不会高估真实频率,误差有明确的上界。

class MisraGries:
    def __init__(self, k):
        self.k = k  # 我们要找频率超过 m/k 的元素
        self.counters = {}  # 元素 -> 计数器
        self.capacity = k - 1

    def process(self, item):
        if item in self.counters:
            self.counters[item] += 1
        elif len(self.counters) < self.capacity:
            self.counters[item] = 1
        else:
            # 对消步骤:所有计数器减1,移除为零的项
            keys_to_delete = []
            for key in self.counters:
                self.counters[key] -= 1
                if self.counters[key] == 0:
                    keys_to_delete.append(key)
            for key in keys_to_delete:
                del self.counters[key]

用这个简单的Python类,你就能处理一个数据流。但请注意,工业级实现需要考虑并发和性能优化。

2. Lossy Counting:以窗口为尺,用空间换精度

如果说Misra-Gries是“即时对消”的策略,那么2002年提出的Lossy Counting算法则采用了一种更“有计划”的衰减方式。它将数据流视为一系列固定大小的窗口,并在每个窗口结束时,执行一次系统性的频率衰减。

算法的流程可以概括为:

  • 划分窗口:将数据流划分为大小为 w = 1/ε 的窗口(ε是用户设定的误差参数)。
  • 窗口内计数:对当前窗口内的元素进行计数,更新维护的计数器集合(新增或累加)。
  • 全局衰减:在每个窗口结束时,将集合中所有计数器的值减1,并将值变为0的计数器(及其对应的元素)从集合中移除。
  • 重复:处理下一个窗口,重复上述步骤。

这种设计带来了几个关键特性:

特性说明
误差界对任何元素频率的估计误差不超过 ε * N(N为当前已处理元素总数)。这意味着如果你设定ε=0.001,那么估计频率与真实频率的偏差不会超过千分之一的总流量。
空间复杂度大约为 O((1/ε) * log(εN))。相比Misra-Gries的O(k),它通常需要更多内存来换取更紧致的误差保证。
输出保证算法能保证输出所有频率超过 (φ - ε)N 的元素,其中φ是你关心的频率阈值。例如,你想找频率超过5%的项,设ε=0.001,那么算法输出的一定是频率超过4.9%的项。

Lossy Counting的衰减是周期性和全局性的,这使其误差分析非常清晰。但它也有明显的缺点:每次窗口结束时的全局衰减操作开销较大,尤其是在计数器很多的时候。此外,它需要预先知道或合理估计窗口大小,对于流量波动大的场景可能不够灵活。

在实际编码时,我们还需要为每个计数器记录一个Δ值,即该元素首次被观察到时的窗口ID减1,用于更精确地计算频率下界。这里是一个简化的核心逻辑片段:

class LossyCounting:
    def __init__(self, epsilon):
        self.epsilon = epsilon
        self.window_size = int(1 / epsilon)
        self.current_window = 0
        self.counters = {}  # 元素 -> (频率f, 最大可能误差Δ)

    def process(self, item):
        # 处理当前元素
        if item in self.counters:
            self.counters[item] = (self.counters[item][0] + 1, self.counters[item][1])
        else:
            # 新元素,Δ设为当前窗口索引-1
            self.counters[item] = (1, self.current_window)

        # 检查窗口是否已满
        self.current_window += 1
        if self.current_window % self.window_size == 0:
            self._decay_and_purge()

    def _decay_and_purge(self):
        # 衰减并清理:这里简化了,实际是减1并移除f+Δ <= current_bucket的项
        to_delete = []
        for item, (f, delta) in self.counters.items():
            if f + delta <= self.current_window:
                to_delete.append(item)
        for item in to_delete:
            del self.counters[item]

3. Space Saving:折衷的艺术与工业界的宠儿

2005年提出的Space Saving算法可以看作是前两种思想的优雅融合,它吸收了Misra-Gries的紧凑数据结构,又借鉴了Lossy Counting中“继承”计数的思路,从而成为目前工程实践中应用最广泛的Heavy Hitters算法之一。

Space Saving维护一个固定大小为 k(通常 k = 1/ε)的“监控器”集合。每个监控器跟踪一个元素及其计数器。算法的核心操作仅针对计数器最小的元素(即最不频繁的候选者):

  1. 命中:如果元素在监控器中,其计数器加一。
  2. 插入:如果元素不在监控器中且监控器未满,将其加入,计数器设为1。
  3. 替换:如果元素不在监控器中且监控器已满,找到计数器值最小的元素(记为e_min),将其替换为新元素。关键来了:新元素的计数器不是从1开始,而是设置为e_min的旧计数器值加一。同时,新元素继承e_min的误差。

这个“替换并继承”的规则是Space Saving的灵魂。它带来了两个巨大优势:

  • 计数器总和等于已处理元素总数:因为只有加法,没有减法。这使得一些统计量的计算变得简单。
  • 更优的空间利用率:被踢出的元素其频率信息并没有被完全丢弃,而是由新元素“继承”了一部分。这减少了对真正高频项计数信息的浪费。

其理论保证同样坚实:监控器中最小计数器的值 min 一定不超过 m / k(即 εm)。算法能保证找出所有真实频率超过 εm 的元素。对于监控器中的任何元素,其估计频率 f'_j 满足 f_j <= f'_j <= f_j + εm,即估计值永远不会低估,误差有上界。

下面是一个使用最小堆来高效维护计数器最小元素的实现示例:

import heapq

class SpaceSavingCounter:
    def __init__(self, item, count, error):
        self.item = item
        self.count = count
        self.error = error # 最大可能误差

    def __lt__(self, other):
        # 用于最小堆比较,按计数排序
        return self.count < other.count

class SpaceSaving:
    def __init__(self, k):
        self.k = k
        self.heap = [] # 最小堆
        self.item_map = {} # 元素到堆中对象的映射

    def process(self, item):
        if item in self.item_map:
            counter = self.item_map[item]
            counter.count += 1
            heapq.heapify(self.heap) # 计数更新后重新堆化
        else:
            if len(self.heap) < self.k:
                # 插入新元素
                new_counter = SpaceSavingCounter(item, 1, 0)
                self.item_map[item] = new_counter
                heapq.heappush(self.heap, new_counter)
            else:
                # 替换最小元素
                min_counter = self.heap[0]
                old_item = min_counter.item
                del self.item_map[old_item]

                # 新元素继承旧元素的计数,并加1
                new_counter = SpaceSavingCounter(item, min_counter.count + 1, min_counter.count)
                self.item_map[item] = new_counter
                self.heap[0] = new_counter
                heapq.heapify(self.heap)

在实际的分布式系统如Apache Storm或Flink中,Space Saving算法常被并行化。每个线程或节点维护一个本地监控器,定期将本地Top-K结果合并到全局监控器中。合并策略本身也需要精心设计,通常采用类似算法本身的逻辑,比较并合并两个监控器列表。

4. 实战对比与选型指南:没有银弹,只有权衡

了解了三种算法的原理,我们该如何选择?纸上谈兵不如实战对比。我曾在两个真实场景中测试过它们:

  • 场景A:实时广告点击Top-K。数据流速度极快(>10万事件/秒),需要近乎实时(秒级延迟)输出点击量最高的100个广告ID。内存限制严格。
  • 场景B:离线日志分析。对过去24小时的DNS查询日志(约TB级)进行分析,找出查询频率最高的1000个域名。允许几分钟的延迟,但对结果的准确性要求更高。

基于这些经验,我将三者的核心差异总结如下表:

维度Misra-GriesLossy CountingSpace Saving
核心操作全局计数器减1(对消)按窗口全局计数器减1(衰减)替换最小计数器并继承
估计偏差永远低估 (f' <= f)永远低估 (f' <= f)永远高估 (f <= f')
误差上界(m - m')/kεmεm
空间复杂度O(k)O((1/ε) log εm)O(k)
更新开销低(通常O(1))中(窗口衰减时O(#counters))低(使用堆为O(log k))
合并难度较易较复杂(需对齐窗口)较易(主流并行化方案)
典型适用场景内存极度紧张,能接受较大误差,需要极简实现对误差有严格且明确的要求,数据流稳定,可接受更高内存通用首选,平衡内存、精度和性能,尤其适合Zipf分布数据

选型建议:

  • 当你内存捉襟见肘,并且只需要一个“大致不错”的方向时,选Misra-Gries。 它的实现最简单,内存占用最确定。比如在嵌入式设备或网络硬件上做初步的流量异常检测。
  • 当你需要理论保障最强的误差界限,并且数据流速率相对稳定时,可以考虑Lossy Counting。 它的ε参数给了你一个清晰的精度杠杆。适合用于需要出具明确数据质量报告的离线或准实时分析任务。
  • 在绝大多数在线流处理和大数据场景中,直接选择Space Saving。 它是三者中平衡性最好的。其“永不低估”的特性在监控场景中尤其有用(宁可多报警,不可漏报)。它的并行化方案成熟,被众多开源项目(如Apache DataSketches库)采纳。对于寻找Top-K热门商品、热搜词、热门视频这类典型的长尾分布数据,Space Saving的表现通常是最稳健的。

最后,无论选择哪种算法,在投入生产前,务必用贴近真实分布的数据进行测试。理论的误差界是在最坏情况下给出的,而真实数据往往遵循Zipf定律(少数元素占据大部分出现次数),这时算法的实际表现通常会远好于理论最坏情况。你可以用一段历史数据做回放测试,对比算法输出与精确计算结果的差异,从而为你特定的数据特征找到最合适的k或ε参数。

5分钟搞懂Misra-Gries算法:大数据流处理中的高效计数器方案(附Python实现) 本文深入解析了Misra-Gries算法,这是一种用于大数据流处理中高效识别高频元素(Heavy Hitters)的近似计数方案。通过有限内存(k-1个计数器)和巧妙的配对削减机制,该算法能在保证无假阴性的前提下,以可控误差快速找出数据流中的关键少数。文章提供了从算法思想到Python实现的完整路径,并对比了Lossy Counting等同类方案,是处理海量实时数据(如日志分析)的实用工具。 阅读详情

相关推荐

mall 电商项目完整部署---实战

mall 后端 SpringBoot,mall‑admin‑web 后台管理 Vue 前端,mall‑app‑sc 移动端 uni‑app 前端;修改数据库、redis、minio、logstash 地址,容器之间 link 别名:mysql 容器别名。🔔排坑:登录报跨域 / 接口报错,检查 prod.env.js 地址,确认 8080 后端服务正常运行。能打开页面,接口列表展示出来,后端部署完成。,所以打包的时候会自动构建镜像,很慢而且你暂时不需要。,容器数据持久化,删除容器数据不会丢失。

qq_63196465的博客 348

space saving算法的c语言实现,RLE算法变体C语言实现

#include #include #include /* 函数原型 */int RLE_Compression(char * infile_name, char * outfile_name);int RLE_Decompression(char * infile_name, char * outfile_name);/* 主程序 */void main(int argc, char *argv...

weixin_28787801的博客 305

Python实战:5分钟搞定滑动平均窗口计算(附完整代码+逐行注释)

本文深入解析Python中滑动平均窗口计算的实现与优化,提供Numpy、Pandas等多种高效方案,并附完整代码和逐行注释。涵盖边界处理、性能优化及异常检测等实战技巧,帮助开发者快速掌握时间序列数据处理的核心技术。

weixin_30872157的博客 126

Space Saving算法

在实际应用中,SpaceSaving算法通常能够提供足够准确的结果,尤其是对于大规模数据集。如果元素不在集合中且集合已满,将集合内计数器值最小的元素移除,将新元素插入到它的位置,并且在原计数值的基础上自增。集合中最小的计数值min一定不会大于m / k = εm(m个元素中,数量超过m/k的元素),同时能够保证找出所有频率大于εm的元素;可见,Space Saving算法构建在Misra-Gries算法的基础上,。如果元素不在集合中且集合未满,就将元素加入集合,计数器设为1;准确率取决于计数器大小。

myIddddd的博客 1442

香橙派OPi 6系列选型指南:RK3588与RK3588S开发板深度对比

开发板选型是嵌入式系统设计的关键环节,尤其在边缘计算和AI推理等场景中,芯片的差异直接影响硬件架构。瑞芯微RK3588及其精简版RK3588S是当前高端开发板的核心方案,两者在PCIe通道、显示输出和SATA支持上存在显著区别。理解这些原理,有助于工程师根据项目需求快速匹配产品。香橙派OPi 6系列基于这两款芯片,衍生出OPi 6、OPi 6 Pro与OPi 6 Max三种形态:紧凑型适合嵌入式门禁与AI盒子,Pro版凭借双屏异显和PCIe 3.0满足收银机与视频分析,Max的双2.5G网口和大内存则面向轻

weixin_29185167的博客 230

给STM32F4装上耳朵:用麦克风模块和Keil MDK实现你的第一个语音指令(附完整代码)

本文详细介绍了如何使用STM32F4开发板和麦克风模块实现简单的语音指令识别系统。通过Keil MDK开发环境配置、ADC音频采样、语音活动检测和模板匹配算法,开发者可以快速构建响应'开灯'、'关灯'等基础指令的语音交互方案。文章包含完整代码实现和调试技巧,特别适合STM32初学者入门语音识别领域。

weixin_29171087的博客 438

ElasticSearch(一)API的使用

elasticsearch的API使用

qq_40358025的博客 224

双轮差动机器人SLAM实战:轮速里程计从建模到精度验证(附Matlab代码)

本文详细介绍了双轮差动机器人SLAM系统中轮速里程计的实现全流程,包括核心原理、建模方法、Matlab代码实现及精度验证。通过轮速仪数据建模和连续积分算法,提升定位精度,并附有完整的误差分析和工程优化技巧,为开发者提供实用参考。

weixin_29050271的博客 224

企业如何同时管理用电安全、电能质量和节能降碳?从异常溯源看施耐德电气EEO的协同管理价值

通过整合电力运行信息,并结合EEO资产健康模块、EEO电能质量模块与EEO能碳管理模块,企业可以围绕设备、回路和负荷建立更连续的分析流程,使不同专业人员能够基于相互关联的数据开展判断。企业需要进一步核对异常出现的时间、涉及的配电回路、生产负荷变化以及设备运行状态,才能判断问题来自正常的生产调整、设备运行异常,还是需要采取措施的电能质量问题。从关键回路的异常排查入手,逐步完善设备数据、专业分析和治理验证流程,企业可以让用电安全、电能质量与节能降碳从分散的管理任务,转变为相互关联的日常运营工作。

科技,技术,行业类博主 188

光学测量仿真软件:Zygo_(5).Zygo的数据处理与分析方法

通过上述综合案例,我们可以看到Zygo中的数据处理与分析方法是如何一步一步应用于实际数据的。从数据导入到预处理,再到滤波、表面分析、缺陷检测和数据可视化,每一步都至关重要,最终确保了数据的准确性和可靠性。处理后的数据还可以导出为多种格式,便于在其他软件中进行进一步的处理或报告。希望这个案例能够帮助您更好地理解和应用Zygo中的数据处理与分析方法。

kkchenjj的博客 947

第4章-上下文管理-对话历史记忆系统与窗口优化-《Agentic AI 智能体应用开发》

当上下文窗口接近极限时,需要对已有内容进行压缩。压缩不是简单的截断——你需要保留核心语义,去除冗余。# Python: 对话摘要压缩# 使用 Haiku 做摘要任务,成本最低"""将一段对话历史压缩为摘要"""system="你是一个对话摘要专家。请生成简洁但有信息量的摘要。",f"'用户'

AI天才研究院 252

京东 Apache Doris 湖仓查询优化实践:从多引擎统一到百万级查询

京东基于 Apache Doris 构建统一湖仓查询引擎,支撑日均百万级查询与 PB 级数据扫描。深入解析 Presto、StarRocks 迁移、分区裁剪、Split 调度、向量化执行及 AI Agent 混合负载优化实践。

SelectDB 436

企业第三方应用开发概述_测试第三方应用对接企业_以及如何使用流程_Demo演示---企业微信开发002

那么第三方公司开发了应用,做为服务提供商,如果,一个企业想使用这个应用,我开发的这个应用的话,那么。其实就是给我们的应用,安装一个,使用他的企业,分配一共企业 允许这个企业使用我们的应用的功能,可以看到其实就是多了运营规范,因为,第三方应用,其实就相当于,是第三方公司开发的,程序,首先来看一下。然后再来看,这里我们选择这个公司,其实可以,选择到具体的,部门,或者是。然后我们使用一个企业的管理员账号进行,扫码,来授权,这个应用,可以。其实就是指定,我这个企业中,哪个部门,或者哪些员工,可以使用。

添柴程序猿的专栏 417

Day3 - Flink 窗口与时间语义:从滚动窗口到迟到数据处理

水位线是一个特殊的时间戳,代表"小于这个时间戳的数据都已经到齐了比如水位线推进到 10:00:05,就告诉 Flink:10:00:05 之前的数据应该都到了,如果还有晚于这个时间到达但时间戳小于 10:00:05 的数据,就是"迟到数据"。窗口大小固定,窗口之间不重叠,数据只属于一个窗口。时间线: 0 10 20 30 40 50 60窗口1: [--------)窗口2: [--------)窗口3: [--------)窗口4: [--------)

YEEMOLY的博客 277

12027.linux flash驱动之IS25LP01G/IS25WWP01G

一页:512字节 --> 扇区 4096字节 --> 块 32k,64k, 层层递进关系。

写给自己的笔记 2290

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

最新大数据毕业设计选题推荐-基于大数据的快餐营养摄入与运动消耗关联性分析与可视化-大数据-Spark-Hadoop-Bigdata

本文介绍《基于大数据的快餐营养摄入与运动消耗关联性分析与可视化》系统,采用Hadoop+Spark框架实现数据存储与计算,结合Python+Django与Java+Spring Boot双后端,通过MySQL存储数据,前端使用Vue+ElementUI+Echarts完成可视化。系统涵盖营养摄入、消费画像、运动消耗等分析功能,实现快餐订单数据与运动消耗的关联分析,为计算机专业毕业设计提供技术完整、可落地的大数据项目参考。文末可获取源码。

IT研究室的博客 113

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

智能问诊的流程

本文介绍基于FastAPI构建的医疗多Agent系统MediAgent,通过症状分析、诊断推理与治疗建议等模块协同,实现从问诊到报告生成的完整工作流。系统采用前后端分离架构,结合MySQL、RabbitMQ与Docker实现工程化部署,支持异步化验结果接入。虽当前状态暂存于内存,但已具备可扩展性,未来可通过Redis持久化、消息队列联动及医疗安全机制完善,应用于慢病管理、辅助决策等场景,推动AI在医疗流程中的落地应用。

Joey 的工作空间~ 787

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

大数据与审计专业哪些证书企业比较认可?

大数据与审计专业选证书,首先要明确就业方向:是进入会计师事务所做财务审计,还是进入企业从事内部审计、风险控制,或向数据审计、信息系统审计发展。不同岗位看重的专业能力不同,证书的价值也应放在具体招聘要求中判断。面向2027年的求职与备考规划,值得重点考虑的有六类:初级会计专业技术资格、注册会计师、审计专业技术资格、CDA数据分析师、国际注册内部审计师和国际注册信息系统审计师。选择时,宜采用“财审基础+数据能力+岗位专长”的组合,而不是单纯追求持证数量。

YangYang9YangYan的博客 312

深入浅出聊聊 Linux 的 PageCache 与系统极致性能

本文深入浅出解析了 Linux PageCache 的核心机制,揭示其如何通过“延迟写、预读读”提升系统性能。以监控告警为切入点,阐明 free -h 中 buff/cache 并非真正占用,真正可用内存由 available 决定。结合 Kafka、Elasticsearch、MySQL 等实战场景,说明中间件如何依赖 PageCache 实现极致性能。强调不可手动清理缓存,并建议合理调优脏页参数,避免卡顿。最终指出:内存满≠危机,而是系统高效运行的体现。

小小默:进无止境 526

数据科学与大数据技术大一到大三考证顺序怎么排?

数据科学与大数据技术专业的考证安排,适合跟着课程和求职方向走,而不是跟着证书数量走。大一还在学高等数学、程序设计,大二逐步接触概率统计、数据库,大三开始进入机器学习、大数据平台和专业实习。证书与这些课程衔接起来,备考才容易转化为实际能力。下文推荐6项证书,其中既有基础性考试,也有职业方向认证,不需要全部考完。安排考证顺序的关键,是让每次备考都留下两项成果:一张能够说明学习经历的证书,以及一份能够展示实际能力的作品。

2501_93367079的博客 84

CentOS7-Elasticsearch8.15.3-Kibana8.15.3-安装部署笔记

Token 有效期只有 30 分钟,请保存好输出的 base64 字符串并尽快完成 Kibana 对接;本文整理自单机离线部署实践,适用于 CentOS 7 + Elasticsearch/Kibana 8.15.3 场景。只对新登录的会话生效,修改后需重新连接 SSH。结尾,其中包含 elastic 用户初始密码、HTTP 层证书等信息。等字段的集群 JSON 信息,即说明账号、HTTPS、证书均正常。安装成功后,终端会打印安全自动配置结果,以。按交互提示输入两次自定义密码。,保存后重启服务器生效。

遇见bug的博客 194

大数据与会计专业考哪些证书对就业有帮助?

大数据与会计专业的学生,选证时容易遇到一个问题:会计类证书强调核算、税法与审计,数据类证书强调处理、分析与表达,究竟应该先考哪一种?

2601_96296664的博客 138

【一次 Elasticsearch 高基数聚合慢查询的定位与优化】

当Elasticsearch聚合查询首次执行慢、后续迅速恢复正常时,问题往往不在数据量本身,而在于全局词典构建开销。通过Profile分析发现,虽聚合耗时仅几十毫秒,但首次请求整体耗时达1秒以上,表明瓶颈在初始化阶段。结合keyword字段使用Doc Values的特性,可推断为首次访问时需加载全局词典(global ordinals),导致延迟。开启eager_global_ordinals可将词典预加载至内存,显著降低首次查询延迟,尤其适用于高基数聚合场景。此案例揭示了“首次慢、后续快”问题的典型根因及

大雪冬至的博客 384

Day2 - Flink DataStream API 与转换算子:从 Source 到 Sink

实现或@Override// 发射数据@Override// 使用用自定义逻辑聚合,比 sum/min/max 更灵活。// 求每个用户的总消费金额reduce 的输入和输出类型必须相同。Flink 会把满足条件的相邻算子合并成一个 Task,在同一个线程里执行,减少线程切换和网络开销。合并条件上下游并行度相同;分区策略是 Forward;没有被用户手动断开。

YEEMOLY的博客 215

过程与答案

36岁,曾在北京996驻场做大数据,靠一碗牛肉面和回西安的五天“虚度光阴”撑起生活。如今AI给出答案,却藏起思考过程。孩子长大,我却停滞。终于明白:真正证明我活过的,不是结果,而是那些无用却真实的瞬间——咸汤里的满足,飞行中的空茫,从“不知道”到“知道”的笨拙旅程。答案可被替代,唯有过程,是人之为人的证据。

shiter编写程序的艺术 168

机房温湿度传感器监控双协议方案:TCP与SNMP融合接入大数据平台

本文提出机房温湿度传感器双协议融合接入方案,通过ModbusTCP(测量面)与SNMP(管理面)协同,实现高频时序数据与设备资产、健康状态的精准采集。采集代理层完成协议归一、标签统一、源优先级合并与时钟对齐,输出统一数据模型,经Kafka流入InfluxDB时序库、CMDB、告警中心等大数据平台。方案解决单协议短板,提升数据质量与系统可扩展性,支撑实时监控、AI预测与运维自动化,实现“细得下来、管得起来”的智慧机房目标。

honsor的博客 233
上一篇: Photoshop高手不会告诉你的蒙版技巧:用通道掩膜实现头发丝级抠图
下一篇: 卫星通信中的移动性管理:Fixed Cell与Moving Cell在LEO网络中的实现细节
android
博客等级 码龄22年 48粉丝 1455原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值