大数据架构平台搭建指南

众所周知，大数据组件繁多，百花齐放般的迷人眼。

对于没有参与建设过大数据平台的朋友来说，当前众多的大数据组件和平台架构容易让人迷失了方向。

本篇文章，首先介绍了大数据架构平台的组件架构，便于了解大数据平台的全貌，然后分别介绍数据集成、存储与计算、分布式调度、查询分析等方面的观点。最后，如果你希望对大数据平台架构有更深入的了解，欢迎找我领取集团大数据平台整体方案建议书

1. 大数据平台架构

从图上可以看出，大数据架构平台分为：数据集成、存储与计算、分布式调度、查询分析等核心模块。我们就沿着这个架构图，来剖析大数据平台的核心技术 。

2. 数据集成

2.1 日志同步

开源日志收集系统有 Sqoop、Flume、Logstash、Filebeat、Vector 等，其中 Flume 在云原生场景用得多，Vector 是一个很高效的日志同步工具，刚开源不久。

专家观点：

日志同步系统虽然本身比较成熟，但在平时工作中也属于重点，一是因为需要同步的数据量比较大，二是要保证日志输出的持续性，有