luyee2010的专栏

启动Topology作为Kafka的comsumer bin/storm jar storm-kafka-App-0.1.0-SNAPSHOT-jar-with-dependencies.jar com.exec.storm.kafka.KafKaSpoutTopologyTest 192.168.137.10:2181 启动flume-kafka的producer bin/flume

这个可以taildir文件，监听文件目录写入事件，只要往这个目录写入文件就能触发 首先需要flume-ng-extends：从获取源代码   https://github.com/jinoos/flume-ng-extends，maven编译打包 将flume-ng-extends-0.0.1-SNAPSHOT.jar,另外还要下载commons-vfs2-2.0.jar这个jar包（这个不然

运行storm-kafka应用程序的的时候报了这个错 这个想了下，肿么会有多个呢，后面觉得应该是在应用的jar包里面也把storm的defaultsyarm打进去了。 找了下只看到 storm storm 0.9.0

Logstash+Redis+Elasticsearch+Kibana Nginx日志查询系统 环境 elasticsearch-0.90.5.zip kibana-latest.zip redis-2.6.16.tar.gz logstash-1.2.2-flatjar.jar nginx.conf配置 log_format main '$remote_addr - $rem

nginx，access.log日志约8000条/s，每100w条数据约253M,需要2min agent1.sources = source1 agent1.sinks = sink1 agent1.channels = channel1 # Describe/configure spooldir source1 #agent1.sources.source1.type = spoold

tail-to-avro agent1.sources = source1 agent1.sinks = sink1 agent1.channels = channel1 # Describe/configure spooldir source1 #agent1.sources.source1.type = spooldir #agent1.sources.source1.spoolDir =

Learning storm book 笔记8 有代码的书籍看起来就是爽，看完顺便跑个demo,感觉很爽！ 场景分析 主要是利用apache的访问日志来进行分析统计 如用户的IP来源，来自哪个国家或地区，用户使用的Os，浏览器等信息，以及像搜索的热词等信息的统计 这里日志信息如下 24.25.135.19 - - [1-01-2011:06:20:31 -0500] "GET