github_lzt的博客

一场景描述对于线上大流量服务或者需要上报日志的nginx服务，每天会产生大量的日志，这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上，而且大流量日志本身对磁盘也是一种冲击。 我们需要把这部分nginx日志统一收集汇总起来,收集过程和结果需要满足如下需求: 支持不同业务获取数据,如监控业务，数据分析统计业务，推荐业...

Broker  Configs PropertyDefaultDescriptionbroker.id 每个broker都可以用一个唯一的非负整数id进行标识；这个id可以作为broker的“名字”，并且它的存在使得broker无须混淆consumers就可以迁移到不同的host/port上。你可以选择任意你喜欢的数字作为id，只要id是唯一的即可。log.dirs/tmp/kafka-logsk...

HDFS：分布式数据存储组件，主要用于数据平台数据的存储，存储现有历史行为数据以及服务端数据。构建数据仓库的基础存储单元数据聚合层：对原始数据进行有目的的清洗转合，基于数据模型以及一些基础业务场景做简单数据聚合使用。管理平台：任务的调度，元数据的管理，任务的监控报警。数据源：DB数据库：来自服务端的数据 Flume：埋点事件数据 API：各个服务接口数据 Kafka...

tier1.sources = httpSourcetier1.channels = kafkaChanneltier1.sinks = hdfsSinktier1.sources.httpSource.channels = kafkaChanneltier1.sinks.hdfsSink.channels = kafkaChannel#--------httpSource----...