storm的基本概念

storm的基本概念

1.storm vs mapReduce对比，storm面向实时处理。mapReduce面向批量

mapReduce 优点：稳定、吞吐能力强。缺点：时效性差。特点：批处理，hadoop任务执行结束。
storm优点：时效性强，毫秒级别。缺点：吞吐差。特点：增量式处理，strom任务没有结束。

2.storm没有持久化层，本地模式

3.storm的基本概念：

stream：数据流
Topology：网络拓扑
Grouping：Shuffle、Fields
Topology的定义是一个Thrift结构（Nimbus）：实现跨语言
Spout：消息生产者
接收消息是否成功处理，至于具体消息如何处理，特别是收到failed消息时处理的策略由用户开发
对接数据源丰富
可以发送多条流
Bolt：消息处理逻辑
过滤逻辑、访问外部服务、数据格式化、聚合、汇总、业务处理
可以发送多条流

4、常见模式：

		1) 流式
		2) 持续计算——机器学习(在线学习)
		3) 分布式RPC

5、Storm架构：

		Nimbus：主节点——分配工作
					如果挂掉，重启后像什么都没发生一样，无状态特点，快速失败（fail-fast）
					工作：
							分发代码，分配任务，监控
		Supervisor：从节点
					快速失败（fail-fast）
					工作：监控worker工作
		Worker：工作进程
		Task：线程
					spout/bolt的线程称为一个task
					一个executor内部可以维护多个task，但是每次只会执行一个task
		zookeeper：协调

6、容错

		1) 架构容错
		2) 数据容错：
					a、timeout
					b、ack机制：通过异或完成树遍历优化
					                      ack是由一组特殊的task来维护：一致性hash算法完成ack高可用
					      ack个数如果设置太少——影响性能
					      ack个数如果设置太多——浪费空间