实时数仓、基于Flink1.11的SQL构建实时数仓（待完善）

基于Flink1.11构建实时数仓：环境配置与架构解析

最新推荐文章于 2024-08-14 17:14:53 发布

原创最新推荐文章于 2024-08-14 17:14:53 发布 · 置顶 · 697 阅读

CC 4.0 BY-SA版权

文章标签：

11 篇文章

订阅专栏

本文档详细介绍了如何在CentOS 7.3.1611环境下搭建实时数仓，包括Hadoop、Kafka、Flink和Hive集群的配置。作者提供了每一步的搭建过程，并分享了实时数仓的简述及技术架构。文章后续将补充实时数据加工和实时交易反欺诈的场景应用。

实时数仓、基于Flink1.11的SQL构建实时数仓

环境说明

5台虚拟机 CentOS Linux release 7.3.1611 规划如下，注：集群所有组件都在root下安装和启动。

192.168.137.121 m1
192.168.137.122 m2
192.168.137.123 s1
192.168.137.124 s2
192.168.137.125 s3

	角色	zookeeper	hdfs	kafka	flink	hive
m1	ResourceManager NameNode Kafka DFSZKFailoverController RunJar		√	√		√
m2	DFSZKFailoverController ResourceManager NameNode Kafka RunJar		√	√		√
s1	Kafka QuorumPeerMain DataNode NodeManager JournalNode StandaloneSessionClusterEntrypoint TaskManagerRunner	√	√	√	√
s2	JournalNode DataNode TaskManagerRunner StandaloneSessionClusterEntrypoint QuorumPeerMain NodeManager	√	√		√
s3	TaskManagerRunner DataNode JournalNode QuorumPeerMain NodeManager	√	√		√