flink简介和环境搭建

原创

已于 2022-08-29 17:43:22 修改 · 900 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据 #scala

于 2022-07-07 18:22:20 首次发布

本文介绍了Flink实时计算框架的基础知识，包括其作为热门实时计算组件的特点。详细阐述了Flink环境的搭建过程，涵盖从下载到启动本地集群，再到运行wordcount示例和搭建standalone集群的详细步骤。最后，讨论了如何通过配置masters和workers文件实现分布式集群的部署。

flink学习

第一天 flink简介和standalone模式环境搭建

文章目录

flink学习
前言
一、flink简介
二、环境搭建
总结

前言

今天开始学习flink的内容，

一、flink简介

flink是目前大数据组件中最火的实时计算框架，真正的流批一体，能对状态的时间进行细粒度的管理，非常牛。

二、环境搭建

1.下载包

下载 flink 的版本为 1.12.7 ，scala版本选择2.12的，
官网地址慢，去腾讯镜像下载
地址： https://mirrors.cloud.tencent.com/apache/flink/flink-1.12.7/

wget https://mirrors.cloud.tencent.com/apache/flink/flink-1.12.7/flink-1.12.7-bin-scala_2.12.tgz
tar -zxvf flink-1.12.7-bin-scala_2.12.tgz  -C /opt/bigdata/
cd /opt/bigdata/flink-1.12.7 && ll

bin/目录包含flink二进制文件以及管理各种作业和任务的几个 bash 脚本
conf/目录包含配置文件，包括flink-conf.yaml
examples/目录包含可以与 Flink 一起使用的示例应用程序

2. 启动本地集群

[root@worker19 flink-1.12.7]# bin/start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host worker19.
Starting taskexecutor daemon on host worker19.

[root@worker19 flink-1.12.7]# jps
144386 LoggerServer
264709 DataNode
16290 DFSZKFailoverController
43945 StandaloneSessionClusterEntrypoint
11724 
42607 NameNode
44369 TaskManagerRunner
58353 ResourceManager
144624 ApiApplicationServer
58676 NodeManager
47829 Jps
41749 QuorumPeerMain
92887 Kafka
151034 JournalNode
144830 PythonGatewayServer
144252</