flink简介和环境搭建

本文介绍了Flink实时计算框架的基础知识,包括其作为热门实时计算组件的特点。详细阐述了Flink环境的搭建过程,涵盖从下载到启动本地集群,再到运行wordcount示例和搭建standalone集群的详细步骤。最后,讨论了如何通过配置masters和workers文件实现分布式集群的部署。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

flink学习

第一天 flink简介和standalone模式环境搭建



前言

今天开始学习flink的内容,


一、flink简介

flink是目前大数据组件中 最火的实时计算框架,真正的流批一体,能对状态的时间进行细粒度的管理,非常牛。

二、环境搭建

1.下载包

下载 flink 的版本为 1.12.7 ,scala版本选择2.12的,
官网地址慢,去腾讯镜像下载
地址 : https://mirrors.cloud.tencent.com/apache/flink/flink-1.12.7/

wget https://mirrors.cloud.tencent.com/apache/flink/flink-1.12.7/flink-1.12.7-bin-scala_2.12.tgz
tar -zxvf flink-1.12.7-bin-scala_2.12.tgz  -C /opt/bigdata/
cd /opt/bigdata/flink-1.12.7 && ll

目录
flink目录

bin/目录包含flink二进制文件以及管理各种作业和任务的几个 bash 脚本
conf/目录包含配置文件,包括flink-conf.yaml
examples/目录包含可以与 Flink 一起使用的示例应用程序

2. 启动本地集群

[root@worker19 flink-1.12.7]# bin/start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host worker19.
Starting taskexecutor daemon on host worker19.

[root@worker19 flink-1.12.7]# jps
144386 LoggerServer
264709 DataNode
16290 DFSZKFailoverController
43945 StandaloneSessionClusterEntrypoint
11724 
42607 NameNode
44369 TaskManagerRunner
58353 ResourceManager
144624 ApiApplicationServer
58676 NodeManager
47829 Jps
41749 QuorumPeerMain
92887 Kafka
151034 JournalNode
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值