flink简介和环境搭建

原创

已于 2022-08-29 17:43:22 修改 · 869 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据 #scala

于 2022-07-07 18:22:20 首次发布

本文介绍了Flink实时计算框架的基础知识，包括其作为热门实时计算组件的特点。详细阐述了Flink环境的搭建过程，涵盖从下载到启动本地集群，再到运行wordcount示例和搭建standalone集群的详细步骤。最后，讨论了如何通过配置masters和workers文件实现分布式集群的部署。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

flink学习

第一天 flink简介和standalone模式环境搭建

前言

今天开始学习flink的内容，

一、flink简介

flink是目前大数据组件中最火的实时计算框架，真正的流批一体，能对状态的时间进行细粒度的管理，非常牛。

二、环境搭建

1.下载包

下载 flink 的版本为 1.12.7 ，scala版本选择2.12的，
官网地址慢，去腾讯镜像下载
地址： https://mirrors.cloud.tencent.com/apache/flink/flink-1.12.7/

wget https://mirrors.cloud.tencent.com/apache/flink/flink-1.12.7/flink-1.12.7-bin-scala_2.12.tgz
tar -zxvf flink-1.12.7-bin-scala_2.12.tgz  -C /opt/bigdata/
cd /opt/bigdata/flink-1.12.7 && ll

bin/目录包含flink二进制文件以及管理各种作业和任务的几个 bash 脚本
conf/目录包含配置文件，包括flink-conf.yaml
examples/目录包含可以与 Flink 一起使用的示例应用程序

2. 启动本地集群

[root@worker19 flink-1.12.7]# bin/start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host worker19.
Starting taskexecutor daemon on host worker19.

[root@worker19 flink-1.12.7]# jps
144386 LoggerServer
264709 DataNode
16290 DFSZKFailoverController
43945 StandaloneSessionClusterEntrypoint
11724 
42607 NameNode
44369 TaskManagerRunner
58353 ResourceManager
144624 ApiApplicationServer
58676 NodeManager
47829 Jps
41749 QuorumPeerMain
92887 Kafka
151034 JournalNode