Storm——高性能流式计算处理框架

最新推荐文章于 2024-04-24 14:15:25 发布
原创 最新推荐文章于 2024-04-24 14:15:25 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#storm #流式处理 #计算框架

本文详细介绍了Storm实时流处理框架，包括其与MapReduce的对比、架构、编程模型、计算模型、分组策略、并发机制、通信机制、容错与ack机制以及DRPC。Storm具有高容错性和毫秒级响应，适用于需要实时处理的场景。

Storm

简介

  • Storm是实时的，具备高容错的，分布式流处理计算框架
  • 特点：storm常驻内存，在内存中处理

与MR对比

  • MR分钟级别响应，storm毫秒级
  • MR间歇性启停，storm一直运行
  • MR数据走磁盘，storm数据走内存，而且使用零拷贝技术

架构

Storm
  • Nimbus
    • 负责客户端请求的提交，通过zookeeper与supervisor通信
  • Supervisor
    • 负责worker的启动
  • Worker
    • 负责具体的计算工作
  • topology
    • 客户端提交的任务的拓扑模型
YARN/MR
  • ResourceManager
  • Nodemanager
  • AppMaster
  • Job

编程模型

Strom
    最低0.47元/天 解锁文章
    Storm、Flink、Spark Streaming性能测试报告（含基准数据）
    AI天才研究院
    05-14 906
    随着实时数据处理需求的爆发（如实时风控、智能监控、实时报表），流处理框架成为企业数据中台的核心组件。Storm、Flink、Spark Streaming作为最主流的三大框架，其性能差异直接影响业务落地效果。本文通过控制变量法设计测试方案，覆盖基础流处理、窗口计算、状态管理、容错恢复四大核心场景，输出可复现的基准数据，帮助技术团队根据业务需求选择最优框架。第2章：三大框架核心技术原理对比；第3-4章：测试方案设计与数学指标定义；第5章：基准测试数据与深度分析；第6章：典型业务场景适配建议；
    流式计算简介以及Flink的概念
    最新发布
    出发行进
    11-25 1086
    对流式计算进行了介绍，而后对FLink的发展，出现以及概念进行了简要介绍。
    《浅析Storm流式计算框架》的课件
    09-26
    奇虎360高级技术专家肖康在小象学院上的免费公开课《浅析Storm流式计算框架》的课件
    Strom实时流处理大数据框架
    06-04
    strom介绍，包括出现背景，应用场景，环境搭建，基本架构。
    流计算框架——Storm
    weixin_56068397的博客
    11-06 2113
    Storm是流计算框架，相比于SparkStreaming的将流计算按照时间片将InputDstream切分成多段RDD而言，Storm的流计算可以到达毫秒级别。 Storm中有以下主要的概念： Spouts、Bolt、Stream、Topology、StreamingGrouping、Nimubis、Supervisor （1）Spouts Spouts是Storm的数据源，一般会从指定外部的数据源当中读取元组（Tuple），在Storm当中最小的数据单元是Tuple。Spouts将数据以Tuple的形式
    Storm 流式计算框架介绍
    weixin_44911248的博客
    07-18 4591
    Storm流式计算框架介绍
    Storm、Spark与Samza流式处理框架对比分析
    本文将基于标题“流式处理框架Storm、Spark和Samza的对比共5页”以及相关描述与标签，深入剖析这三个框架在架构设计、处理模型、容错机制、吞吐量与延迟性能、生态系统集成、部署方式及适用场景等方面的异同点。...
    深入解析Apache Flink与Storm、Spark的流式计算差异
    Apache Flink 是近年来在大数据处理领域迅速崛起的开源流式计算框架，其设计理念和架构优势使其成为众多企业从传统批处理或微批处理系统（如 Apache Spark 和 Apache Storm）迁移的首选。本文围绕标题“Apache Flink...
    Storm流式计算在实时日志与电商系统中的应用
    Storm流式计算是一种高性能、容错性强的分布式实时计算系统，广泛应用于需要对大规模数据流进行低延迟处理的场景中。它由Nathan Marz开发，并在Twitter内部得到广泛应用后开源，现已成为Apache顶级项目之一。Storm的...
    流式计算框架
    lance家园
    09-02 4923
    流式计算框架 S4 S4会将数据里的每一条记录包装成event事件，每个事件是一个KV对，同时有eventType来标示这个事件的类型。 PE是S4中的基本运算单元。每个PE只负责处理自己所关心的eventtype,并且只处理自己所对应的key值的event。PE处理后可能
    【大数据笔记06】Storm——流式计算框架
    开染坊的白猫
    03-23 682
    Storm架构 Nimbus：负责资源分配和任务调度。 Supervisor：负责接受nimbus分配的任务，启动和停止属于自己管理的worker进程。 Worker：运行具体处理组件逻辑的进程。 Task：worker中每一个spout/bolt的线程称为一个task. 在storm0.8之后，task不再与物理线程对应，同一个spout/bolt的task可能会共享一个物理线程，该线程称为...
    Storm流式实时计算开源框架（一）
    顶峰科技的专栏
    02-08 509
    本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形式给出。Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下： 主控节点（Master Node）上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发
    开源流计算框架Storm
    hxxjxw的博客
    07-31 708
    Storm需要zookeeper帮它去完成整个相关的状态的保存和恢复 Storm简介 Storm的特点 Storm设计思想 “守株待兔” 可以理解为Hadoop中的Job。Hadoop中应用程序提交的时候需要提交一个Job，在流处理当中，要提交一个流计算任务，就是以Topology形式去提交的 整个Topology就是一个数据流的转换图，当中包含...
    storm-流式处理框架
    weixin_43462670的博客
    04-19 872
    storm是实时的，分布式以及具备高容错的计算系统。 一、架构介绍 上述内容有三个关键词：实时、分布式、高容错。 实时： storm最早是由Twitter（推特）在GitHub上开源出来的。推特我们大家都知道，类似于微博的东西，所以他要求处理速度非常快，点一下马上出来内容才可以。 那么，他是怎么做到实时的呢？ 1）storm进程是常驻内存的。与MapReduce不同，MapReduce是进程运行完...
    storm 流式计算框架
    weixin_34217773的博客
    04-12 254
    一：storm 简介 二：storm 的原理与架构 三：storm 的 安装配置 四：storm 的启动脚本 一： storm 的简介： 1.1 storm 是什么： 1. Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票...
    程序员必知必会开源流计算框架：ApacheStorm
    2401_83384536的博客
    04-24 1449
    Apache Storm（简称Storm）是一款由Twitter开源的大规模分布式流计算平台。Storm出现得较早，是分布式流计算平台的先行者。不过随着各种流计算平台的出现，Storm也在不断尝试着改进和改变。Storm可以说是最早被大家广泛接受的大规模分布式流计算框架，所以我们先从对Storm的讨论开始。
    流式计算之Storm概念以及架构详解
    weixin_43520450的博客
    05-25 2841
    Storm概念以及架构详解一、什么是Storm?二、离线计算和流式计算2.1 离线计算2.2 流式计算2.3 Storm与Hadoop的区别三、Storm的体系结构四、Storm的运行机制五、Storm的安装配置六、启动和查看Storm七、Storm的常用命令八、Demo演示：WordCount及流程分析九、Storm的编程模型十、Storm编程案例：WordCount十一、Storm集群在ZK上保存的数据结构十二、Storm集群任务提交流程十三、Storm内部通信机制 一、什么是Storm? Storm为
    大数据storm流处理计算累加值
    thomasongq的博客
    10-31 745
    package com.neusoft.storm; import java.util.List; import java.util.Map; import backtype.storm.spout.SpoutOutputCollector; import backtype.storm.task.TopologyContext; import backtype.storm.topology....
    大数据篇（一）：实时计算（storm集成kafka的流式处理）讲解
    小伟大院的博客
    09-01 1524
    一、大数据技术背景 大数据的维度分为五维：大量、高速、多样、精确、价值。 大数据背景下，就是将数据集进行清洗处理，得到根据业务场景相关的各项指标。还可以通过开发分析引擎对各种指标的数据进行批处理作业，统计查询等。基本包括两大类型：分布式批处理以及实时计算。分布式批处理，可以看成离线处理，将数据收集到1个月一周或者一天进行处理，不要求纳秒/毫秒响应，应对不要求实时性的海量数据运算。这里不做过多讲...
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值