
kafka-jstorm集群实时日志分析
文章平均质量分 57
Dreamer who
=== Happiness isn't something you experience; it's something you remember.
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
(一)kafka-jstorm集群实时日志分析 之 ---------kafka实时日志处理
package com.doctor.logbackextend;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import kafka.consumer.Consumer;import kafka.consumer.ConsumerCo原创 2014-10-25 23:55:15 · 10363 阅读 · 3 评论 -
(一)kafka-jstorm集群实时日志分析 之 ---------kafka实时日志处理-----续
上文(一)kafka-jstorm集群实时日志分析 之 ---------kafka实时日志处理- 讲述了日志如何写入kafka集群,现在看一下效果.zookeeper集群,kafka集群启动后,我们用kafka-web-console (https://github.com/claudemamo/kafka-web-console) 观察一下集群运行状态.配置好kafka-web原创 2014-10-26 20:17:20 · 3425 阅读 · 0 评论 -
Kafka+Storm+HDFS整合实践
在基于Hadoop平台的很多应用场景中,我们需要对数据进行离线和实时分析,离线分析可以很容易地借助于Hive来实现统计分析,但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm,它是一个实时处理系统,它为实时处理类应用提供了一个计算模型,可以很容易地进行编程处理。为了统一离线和实时计算,一般情况下,我们都希望将离线和实时计算的数据源的集合统一起来作为输入,然后将数据的流向分别经由实转载 2014-10-27 21:40:22 · 1949 阅读 · 0 评论 -
(二) kafka-jstorm集群实时日志分析 之 ---------jstorm集成spring
后面为了引入Dubbo RPC框架(用spring配置),先把spring 引入jstorm中,请先了解一下jsorm多线程方面的文档:http://storm.apache.org/documentation/Understanding-the-parallelism-of-a-Storm-topology.html . A worker process exe原创 2014-10-30 21:16:07 · 6643 阅读 · 2 评论 -
(三 )kafka-jstorm集群实时日志分析 之 ---------jstorm集成spring 续(代码)
本地模式启动的.package com.doctor.kafkajstrom;import java.util.HashMap;import java.util.Map;import java.util.concurrent.TimeUnit;import org.apache.commons.lang.RandomStringUtils;import org.slf4j.Log原创 2014-10-30 22:13:36 · 4838 阅读 · 2 评论 -
apache日志分析处理;如何通过apache日志计算出PV数和UV数?
google了下,没有找到如何通过apache日志计算出PV数和UV数,在知乎上提问了个,等待高人解答吧。—–等了一下午,知乎上也木有人能给出合理的算法,chinaunix上也木有,stackoverflow.com上也木有,自己找时间看一下awstats吧,看看能不能找到答案。—-来公布答案了~~查询了awstats的文档说明,http://awstats.sourcefor转载 2015-01-16 10:28:01 · 3704 阅读 · 0 评论 -
分布式系统的跟踪系统Dubbo RPC处理
分布式系统的跟踪系统Dubbo RPC处理 接着前一篇博文http://blog.youkuaiyun.com/doctor_who2004/article/details/46974695 上篇只是提供了一个思想,今天具体给出dubbo rpc 处理细节。 dubbo prc处理部分,那就是dubbo 的filter 扩展。dubbo 的filter 接口:原创 2015-10-10 11:03:16 · 5259 阅读 · 0 评论