数据上报服务

数据上报与监控系统实现

原创已于 2022-04-14 16:22:41 修改 · 3.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #big data #java

于 2022-03-14 15:04:10 首次发布

集群分析优化与开发工具专栏收录该内容

4 篇文章

订阅专栏

该博客详细描述了一种数据上报服务的实现流程，包括定义数据格式、使用SDK和HTTP通过Nginx落地日志、利用Flume进行日志收集和数据校验，以及将数据发送到Kafka进行存储。此外，还介绍了数据重发机制，当下游出现问题时，通过Flume重新采集和发送数据。

常见方案：

定义上报数据格式
客户端/服务端通过sdk、http 然后 nginx将数据进行落地 access log
通过日志收集工具（td-agent，flume等）进行数据收集
将收集完毕的数据发送到对应sink（kafka，hdfs，等）
通过第三方的监控平台配置对采集数据状态的监控

决定的数据上报服务

	 1. 服务端/客户端将数据发送到不同的Nginx（业务不同，到达的日志地址不同）
	 2. Nginx将Post Body写到Nginx Access Log
	 3. Flume用Tail的方式从Nginx Access Log读取数据
	 4. Flume用拦截器校验数据、格式化数据
  	 5. Flume Kafka Sink将数据写到Kafka
	 5. 设计到的kafka消息

数据重发：flume增加线程监控下游，出问题时，将归档的Access Log 重新拿出放入监控目录，重新采集下发一次