Storm是一个分布式是实时计算系统,它设计了一种对流和计算的抽象,概念比较简单,实际编程开发起来相对容易。
Storm中最核心的计算组件的抽象就是Spout、Bolt,以及Stream Grouping。
你晓得伐
名词 | 含义 | 拓展 |
---|---|---|
Topology | 拓扑图 | 类似于Hadoop中的MapReduce Job,是一个用来编排、容纳一组计算逻辑组件(Spout、Bolt)的对象(Hadoop MapReduce中一个Job包含一组Map Task、Reduce Task) |
Spout | 喷泉,喷口 | 一个Topology的消息生产的源头,Spout应该是一个持续不断生产消息的组件 |
Bolt | 插销,螺栓,筛选 | Storm中消息的处理逻辑被封装到Bolt组件中,任何处理逻辑都可以在Bolt里面执行,处理过程和普通计算应用程序没什么区别,只是需要根据Storm的计算语义来合理设置一下组件之间消息流的声明、分发、连接即可。 |
Stream Grouping | 分组关系 | 定义各个计算组件(Spout、Bolt)之间流的连接、分组、分发关系。 |