LMR的博客

我使用得Flume版本是1.6，输入源是netcat（socket通信），输出源分别是HDFS和Kafka两个，整体框架如下所示： 具体配置如下： a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 c2 #define the source #a1.sources.r1.type = spooldir a1.sources.r1.chan...

本文中我们首先介绍Lamda架构，然后基于Lamda架构设计我们的饿日志数据分析流水线架构。 1.Lamda架构 日志分析中既有离线大规模分析的需求，又有实时性的需求，这就可以通过采用Lamda架构构建日志分析流水线。 1.1Lamda架构简介 Lambda架构的目的是为大数据分析应用程序提供一个低响应延迟的组合数据传输环境。 Lambda 系统架...

本文的Flume输入源为netcat输出为HBase和Kafka，其中需要为HBase实现相应的方法。 配置如下： ​ a1.sources = r1 a1.channels = kafkaC hbaseC a1.sinks = kafkaSink hbaseSink a1.sources.r1.type = avro a1.sources.r1.channels = hba...