
storm
呼啦圈521
菜鸟程序猿
展开
-
storm 简介及单机版安装指南
本文翻译自: https://github.com/nathanmarz/storm/wiki/Tutorial Storm是一个分布式的、高容错的实时计算系统。 Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为我们提供了Map和Reduce原语,使我们对数据进行批处理变的非常的简单和优美。同样,Storm也对数据的实时计算提供了简单Spout和Bolt原语转载 2013-12-12 15:48:50 · 808 阅读 · 0 评论 -
storm读取kafka集群各个集群节点信息
功能: 从kafka集群的各个节点读取消息, 负载均衡的负责各个topic的各个partition的数据的读取 支持事务,可以重发失败的message 代码阅读: 重要对象: Map stateCconf:保存kafka消费者信息的zookeeper配置信息. ZkState _state:提供从zookeeper读写kafka消费者信息功能. DynamicPartitionCo原创 2013-12-13 18:32:08 · 1934 阅读 · 1 评论 -
storm理解
nimbus上会根据提交的topology,产生具体的task,一个task或许是acker、bolt或spout,然后,nimbus会根据当前可用的资源,即supervisor们在zk上注册的信息,看有多少个worker可用,然后均匀分配task到supervisor的worker去。worker会定期的回报心跳到zk,nimbus会监听zk上该心跳节点信息,如果发现某worker挂了,那么会重原创 2014-01-03 11:37:29 · 483 阅读 · 0 评论