Desilting's 足迹

storm从0.9.0开始，增加了指标统计框架，用来收集应用程序的特定指标，并将其输出到外部系统。 本文中采用的监听类是LoggingMetricsConsumer，统计指标值将输出到metric.log日志文件中。 当然也可以自定义监听类，只需要实现IMetricsConsumer接口即可，这些类可以在代码里注册（registerMetricsConsumer），也可以在 storm.yam

配置flume: http://blog.youkuaiyun.com/desilting/article/details/22811593 配置kafka: http://blog.youkuaiyun.com/desilting/article/details/22872839 启动zookeeper、kafka及storm 创建topic:  bin/kafka-topics.s

最近想把老storm集群上的部分任务，迁移到新搭建的storm集群上。 BrokerHosts hosts = new ZkHosts(Constants.ZOOKEEPER_HOSTS); 虽然都是从一个kafka集群取数，但新老storm集群对应的ZK地址不一样，迁移过去后消息消费没有续上。 老storm集群上运行的任务，在zk集群上的topic消费偏移量一直

最近Storm集群提交任务后，任务的worker需要很长时间才能运行成功，从UI界面可以看到，个别worker一直在尝试不同机器的solt来启动，日志报错如下：2017-03-01T18:47:51.785+0800 o.a.s.z.ClientCnxn [INFO] Session establishment complete on server 10.1.3.41/10.1.3.41:2181,

目前HDFS上日志一部分由MR清洗生成&二次计算，一部分直接从服务器离线上传，但在私有云环境下，离线日志的压缩上传可能会对服务造成性能影响，而且在很多日志已经实时传输到Kafka集群的情况下，考虑Kafka->Hdfs也不失为一条合理的路径。1. Kafka-Flume-Hdfs这种方法直接通过Flume-ng的Hdfs-Sink往Hdfs导数据，Hdfs-Sink用来将数据写入Hadoop分布式文