
storm
王伴农
就职于国内某知名互联网企业,网站后端开发
展开
-
跟我学storm教程1-基本组件及分布式wordCount
storm拓扑组成结构 storm的分布式计算拓扑结果英文为topology,由数据流(stream)、数据源(spout)、运算单元(bolt)三个部分组成。数据源的数据流(stream)按照一定的方式(是否分组等等,这个概念后续会讲)流入一级bolt做运算,之后这些一级bolt的输出再按照一定的方式流入下一级bolt,如下图所示。storm跟hadoop等离线批量计算框架的最原创 2017-05-01 17:14:49 · 1423 阅读 · 0 评论 -
跟我学storm教程2-并行机制及数据流分组
topology的四个组成部分Nodes(服务器) 即为storm集群中的supervisor,会执行topology的一部分运算,一个storm集群一般会有多个node workers(JVM虚拟机) node节点上运行的相互独立的jvm进程,每个节点上可以运行一个或者多个worker。一个复杂的topology会分配到多个worker上运行。 Executor(线程) 指某个jvm进程中运行的j原创 2017-05-02 21:09:41 · 1185 阅读 · 0 评论