流式计算产品对比(Storm、Trident、Spark Streaming、Flink）

最新推荐文章于 2024-01-02 01:20:59 发布

Quan.S

最新推荐文章于 2024-01-02 01:20:59 发布

阅读量6.4k

点赞数 9

CC 4.0 BY-SA版权

分类专栏： streaming 文章标签： spark storm 流式计算

本文链接：https://blog.youkuaiyun.com/xianzhen376/article/details/51111911

这篇博客对比了四种流式计算框架——Storm、Trident、Spark Streaming和Flink，涉及模型、API形式、保证机制、容错机制、状态管理、延时与吞吐量以及成熟度。文章讨论了每种框架的特点，例如Storm的Naitve和Micro-Batch模型，Spark Streaming的声明式API，Flink的Checkpoint机制以及它们在容错和状态管理上的不同策略。此外，还提及了Twitter的Heron作为潜在的竞争者。

                    
                        
                    
                     
  
   产品 
   模型 
   API 
   保证次数 
   容错机制 
   状态管理 
   延时 
   吞吐量 
   成熟度 
  
 
  
   Strom 
   Native 
   组合式 
   At-least-once 
   Record ACKs 
   无 
   Very Low 
   Low 
   High 
  
 
   Trident 
   mirco-batching 
   组合式 
   Exectly-once 
   Record ACKs 
   基于操作的状态管理 
   Low 
   Low 
   High 
  
 
   Spark streaming 
   mirco-batching 
   声明式 
   Exectly-once 
   RDD Checkpoint 
   基于DDStream的状态管理 
   Low 
   Low 
   High 
  
 
   Flink 
   Native 
   组合式 
   Exectly-o
  


                

产品	模型	API	保证次数	容错机制	状态管理	延时	吞吐量	成熟度
Strom	Native	组合式	At-least-once	Record ACKs	无	Very Low	Low	High
Trident	mirco-batching	组合式	Exectly-once	Record ACKs	基于操作的状态管理	Low	Low	High
Spark streaming	mirco-batching	声明式	Exectly-once	RDD Checkpoint	基于DDStream的状态管理	Low	Low	High
Flink	Native	组合式	Exectly-o