tom_fans的博客

上一篇文章介绍了Storm如果如何保证消息传送的，通过message ID以及anchered tuple机制来跟踪消息，如果完成了，返回ack，失败了返回fail以便重发消息。但是即使如此，大家也知道不能保证exactly once, 为什么？ 大家去思考一下，因此本章所编写的程序是不保证exactly once 的，如果需要保证，需要使用Trident 接口，这个下次再进行介绍。S

上一篇文章介绍了一下Storm-kafka-hbase整合，虽然不能保证exactly once，但是at least once已经能够满足90%的业务，如果对前2篇内容都已经理解就已经可以为生产环境编写Storm程序了。今天谈论的问题是性能问题，开发最近写了一个程序用来处理kafka数据，然后存储到HBASE，中间的逻辑很简单，kafka的数据是一个json格式数据，通过bolt 解析这个jso

Storm从发送消息spout 到 接收消息bolt ， 怎么样才认为消息已经发送成功了. Storm把spout, bolt 形成一个tree用来跟踪， spout发送消息后，会给每个message分配一个ID，这个ID是唯一的，用于跟踪消息，消息传送到bolt之后，然后处理，bolt通过ack，然后告诉spout，这条消息已经处理完成, spout然后把消息pop.， 整个流程就结束了。根

最近又要迁移HADOOP，迁移过程不做表述，因为我使用了Storm实时流组件，之前版本是1.0.2，目前最新版1.2.2. 老版本storm和kafka结合的包是storm-kafka, 新版本的包为storm kafka client。我用老的JAR部署到STORM显示了一个告警：Offset lags for kafka not supported for older versions就是上面...