flink学习
第一天 flink简介和standalone模式环境搭建
文章目录
前言
今天开始学习flink的内容,
一、flink简介
flink是目前大数据组件中 最火的实时计算框架,真正的流批一体,能对状态的时间进行细粒度的管理,非常牛。
二、环境搭建
1.下载包
下载 flink 的版本为 1.12.7 ,scala版本选择2.12的,
官网地址慢,去腾讯镜像下载
地址 : https://mirrors.cloud.tencent.com/apache/flink/flink-1.12.7/
wget https://mirrors.cloud.tencent.com/apache/flink/flink-1.12.7/flink-1.12.7-bin-scala_2.12.tgz
tar -zxvf flink-1.12.7-bin-scala_2.12.tgz -C /opt/bigdata/
cd /opt/bigdata/flink-1.12.7 && ll
目录
bin/目录包含flink二进制文件以及管理各种作业和任务的几个 bash 脚本
conf/目录包含配置文件,包括flink-conf.yaml
examples/目录包含可以与 Flink 一起使用的示例应用程序
2. 启动本地集群
[root@worker19 flink-1.12.7]# bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host worker19.
Starting taskexecutor daemon on host worker19.
[root@worker19 flink-1.12.7]# jps
144386 LoggerServer
264709 DataNode
16290 DFSZKFailoverController
43945 StandaloneSessionClusterEntrypoint
11724
42607 NameNode
44369 TaskManagerRunner
58353 ResourceManager
144624 ApiApplicationServer
58676 NodeManager
47829 Jps
41749 QuorumPeerMain
92887 Kafka
151034 JournalNode