storm的基本概念_下面对于storm基本概念描述正确的是-优快云博客

本文链接：https://blog.youkuaiyun.com/chenyang2015/article/details/89884741

本文介绍了Storm的基本概念，将其与MapReduce对比，指出Storm面向实时处理，时效性强但吞吐差；MapReduce面向批量处理，稳定、吞吐能力强但时效性差。还阐述了Storm无持久化层、本地模式，以及Stream、Topology等基本概念，涉及Spout消息生产、Bolt消息处理逻辑等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

storm的基本概念

1.storm vs mapReduce对比，storm面向实时处理。mapReduce面向批量

mapReduce 优点：稳定、吞吐能力强。缺点：时效性差。特点：批处理，hadoop任务执行结束。
storm优点：时效性强，毫秒级别。缺点：吞吐差。特点：增量式处理，strom任务没有结束。

2.storm没有持久化层，本地模式

3.storm的基本概念：

stream：数据流
Topology：网络拓扑
Grouping：Shuffle、Fields
Topology的定义是一个Thrift结构（Nimbus）：实现跨语言
Spout：消息生产者
接收消息是否成功处理，至于具体消息如何处理，特别是收到failed消息时处理的策略由用户开发
对接数据源丰富
可以发送多条流
Bolt：消息处理逻辑
过滤逻辑、访问外部服务、数据格式化、聚合、汇总、业务处理
可以发送多条流

4、常见模式：

		1) 流式
		2) 持续计算——机器学习(在线学习)
		3) 分布式RPC

5、Storm架构：

		Nimbus：主节点——分配工作
					如果挂掉，重启后像什么都没发生一样，无状态特点，快速失败（fail-fast）
					工作：
							分发代码，分配任务，监控
		Supervisor：从节点
					快速失败（fail-fast）
					工作：监控worker工作
		Worker：工作进程
		Task：线程
					spout/bolt的线程称为一个task
					一个executor内部可以维护多个task，但是每次只会执行一个task
		zookeeper：协调

6、容错

		1) 架构容错
		2) 数据容错：
					a、timeout
					b、ack机制：通过异或完成树遍历优化
					                      ack是由一组特殊的task来维护：一致性hash算法完成ack高可用
					      ack个数如果设置太少——影响性能
					      ack个数如果设置太多——浪费空间