
storm
文章平均质量分 90
Running_Tiger
这个作者很懒,什么都没留下…
展开
-
storm通信机制
storm通信机制Worker间的通信经常需要通过网络跨节点进行,Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。 Worker进程内部通信:不同worker的thread通信使用LMAX Disruptor来完成。 不同topologey之间的通信,Storm不负责,需要自己想办法实现,例如使用kafka等;1.Worker进程间通信worker进程间消息原创 2018-02-27 18:01:37 · 807 阅读 · 1 评论 -
Storm 记录级容错原理
Storm 记录级容错原理首先来看一下什么叫做记录级容错?storm允许用户在spout中发射一个新的源tuple时为其指定一个message id, 这个message id可以是任意的object对象。多个源tuple可以共用一个message id,表示这多个源 tuple对用户来说是同一个消息单元。storm中记录级容错的意思是说,storm会告知用户每一个消息单元是否在指定时间内被完全处理原创 2018-02-28 23:34:26 · 256 阅读 · 0 评论