Spark Streaming和Storm选型[转自知乎，仅作备份]

最新推荐文章于 2025-05-14 03:06:29 发布
最新推荐文章于 2025-05-14 03:06:29 发布
阅读量954 收藏
点赞数
分类专栏： 大数据 文章标签： 流计算 storm spark stream

原文网址：https://www.zhihu.com/question/29092950

Carey Tzou的回答。如有转载请著名版权。

作者：Carey Tzou
链接：https://www.zhihu.com/question/29092950/answer/131543255
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

先上图，这是一年前技术选型时做的一个对比表格，当然还有一大篇文章，这里就不贴出来了。（更新了部分数据）



Flink，Storm，Spark Streaming三种流框架的对比分析
06-24
Flink，Storm，Spark Streaming三种流框架的对比分析。比较清晰明确
Storm介绍及与Spark Streaming对比
01-09 1059
原文链接：http://www.cnblogs.com/shishanyuan/p/6200770.html 1 Storm介绍 Storm是由Twitter开源的分布式、高容错的实时处理系统，它的出现令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。 在Storm的集群里面有两
SparkStreaming和Storm的对比
CatherineHuangTT的博客
11-22 562
Storm       1) 真正意义上的实时处理。（实时性）     2）想实现一些复杂的功能，比较麻烦，比如：实现滑动窗口   （易用性）        原生的API：spout bolt bolt        Trident框架：使用起来难度还是有一些。     3）没有一个完整的生态 SparkStreaming     1）有批处理的感觉，一次处理的数据量较小，然
Storm和Spark Streaming的区别
qq_45873533的博客
07-19 348
1.Spark Streaming 最低可在 0.5 秒~2 秒内做一次处理，而 Storm 最快可达到 0.1 秒，在实时性和容错性上，Spark Streaming 不如Strom 2.Spark Streaming 的集成性优于 Storm,可以通过 RDD 无缝对Spark 上的所有组件，还可以很容易的与 kafka,flume 等分布式框架进行集成。 3.在数据吞吐量上，Spark Streaming 要远远优于 Storm。 综上所诉，Spark Streaming 更适用于大数据流式处理。
一分钟让你搞明白SparkStreaming与Storm的区别
Li_Jian_Hui_的博客
03-20 7422
SparkStreaming与Storm的区别 1.Storm是纯实时处理数据，SparkStreaming是微批处理数据，可以通过控制间隔时间做到实时处理。SparkStreaming相对于Storm来说，吞吐量大。 2.Storm擅长处理简单的汇总型业务。SparkStreaming擅长处理复杂的业务。Storm相对于SparkStreaming来说轻量级。SparkStreaming中可以使...
Storm、Flink、Spark Streaming性能测试报告（含基准数据）
最新发布
AI天才研究院
05-14 681
随着实时数据处理需求的爆发（如实时风控、智能监控、实时报表），流处理框架成为企业数据中台的核心组件。Storm、Flink、Spark Streaming作为最主流的三大框架，其性能差异直接影响业务落地效果。本文通过控制变量法设计测试方案，覆盖基础流处理、窗口计算、状态管理、容错恢复四大核心场景，输出可复现的基准数据，帮助技术团队根据业务需求选择最优框架。第2章：三大框架核心技术原理对比；第3-4章：测试方案设计与数学指标定义；第5章：基准测试数据与深度分析；第6章：典型业务场景适配建议；
Flink vs Storm
07-05 593
[笔记]知乎-用Flink取代Spark Streaming！知乎实时数仓架构演进 知乎的实时数仓实践以及架构的演进： 实时数仓 1.0 版本，主题：ETL 逻辑实时化，技术方案：Spark Streaming。 实时数仓 2.0 版本，主题：数据分层，指标计算实时化，技术方案：Flink Streaming。 实时数仓未来展望：Streaming SQL 平台化，元信息管理系统化，结果验...
Flink驱动的实时数仓：美团点评等企业实践与技术选型解析
然而，随着大数据时代的到来， Storm、Spark Streaming和Flink等实时处理框架的兴起，实时数仓逐渐成为数据平台的核心，特别是Flink因其高效性和易用性获得了广泛的关注。 当前企业数据体系普遍倾向于构建实时数仓...
实用好文：知乎实时数仓架构实践及演进
cqacry2798的博客
03-04 2927
“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设。同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。 从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。 互联网科技发展蓬勃兴起，人工...
大数据处理相关框架对比
qa3320754的博客
01-12 1490
大数据处理相关框架对比 对比大数据场景中所使用到的开源框架，包括框架特性、模型、功能、性能、应用场景以及发展方向 0. 前言 todo 大数据定义 todo 大数据特征 todo 大数据技术 todo 大数据应用 todo 大数据发展方向 在使用或学习大数据相关组件前，我们应该了解以下前置知识，包括开源许可证的种类与选择。 0.1 开源许可证 互联网环境下，无论是在企业中开发还是个人进行创作，只要遇到开源软件（小到远程控制工具OpenSSH，JAVA编程语言，大到Linux操作系统），都会见到开源许可证
Flink、Storm与Spark Stream的区别（未）
weixin_34018202的博客
04-17 296
为什么80%的码农都做不了架构师？>>> ...
大数据
鸣志工作室
12-09 975
大数据（Big Data） 大数据，官方定义是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集无法用传统的数据库进行存储，管理和处理。大数据的主要特点为数据量大（Volume），数据类别复杂（Variety），数据处理速度快（Velocity）和数据真实性高（Veracity），合起来被称为4V。 大数据中的数据量非常巨大，达到了PB级别。而且这庞大的数据之中，不仅仅包
知乎spark与hadoop讨论
lionzl的专栏
09-22 2438
与 Hadoop 对比，如何看待 Spark 技术？修改 最近公司邀请来王家林老师来做培训，其浮夸的授课方式略接受不了。其强烈推崇Spark技术，宣称Spark是大数据的未来，同时宣布了Hadoop的死刑。 那么与Hadoop相比，Spark技术如何？现工业界大数据技术都在使用何种技术？ -----------补充------------ 希望大家能将关注点放在Spark上。另
三次握手 来源知乎用户Storm
学习学习再学习
08-19 569
一.概念 SYN(synchronous/同步)是TCP/IP建立连接时使用的握手信号。在客户机和服务器之间建立正常的TCP网络连接时，客户机首先发出一个SYN消息，服务器使用SYN+ACK应答表示接收到了这个消息，最后客户机再以ACK消息响应。这样在客户机和服务器之间才能建立起可靠的TCP连接，数据才可以在客户机和服务器之间传递。 ACK(Acknowledgement/确认)，即确认字符，
知乎上一位朋友总结的特别好的spark的文章，很不错以转载！
邓佑权的博客
11-19 6055
Spark是基于内存的分布式计算引擎，以处理的高效和稳定著称。然而在实际的应用开发过程中，开发者还是会遇到种种问题，其中一大类就是和性能相关。在本文中，笔者将结合自身实践，谈谈如何尽可能地提高应用程序性能。 分布式计算引擎在调优方面有四个主要关注方向，分别是CPU、内存、网络开销和I/O，其具体调优目标如下： 提高CPU利用率。避免OOM。降低网络开销。减少I/O操作。 第1章 数据
spark一些入门资料
linger(心怀梦想，活在当下，知乎ID：linger liu)
06-09 2406
spark一些入门资料 A Scala Tutorial for Java Programmers http://docs.scala-lang.org/tutorials/scala-for-java-programmers.html   学习资源（视频教程，书，例子等） spark.apache.org/documentation.html   入门指南 s
有人第一次把SparkCore说的这么明白!!!!
放肆桀骜
05-22 962
RDD 概念 RDD(Resilient Distributed Dateset)，弹性分布式数据集。 RDD的五大特性： RDD是由一系列的partition组成的。 函数是作用在每一个partition（split）上的。 RDD之间有一系列的依赖关系。 分区器是作用在K,V格式的RDD上。 RDD提供一系列最佳的计算位置。 RDD理解图: 注意： textFile...
Flink系列-1、流式计算简介
不积跬步无以至千里，不积小流无以成江河
12-09 3643
Flink系列-1、流式计算简介
什么是流式(实时)计算?
m0_58873085的博客
06-26 2973
什么是流式计算，流式计算与离线计算的区别，流式计算有哪些概念？流式计算有哪些框架，这些框架多方面性能如何？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值