Flink高手之路:Flink的环境搭建

本文详细介绍了Apache Flink的多种安装模式,包括Local、Standalone、Standalone HA和Flink on YARN,以及相应的配置和启动流程。通过实例展示了如何在不同模式下运行单词计数任务,并提供了遇到问题时的解决方法,如添加Hadoop类路径配置。此外,还涵盖了Flink在高可用模式下的设置和历史服务器的使用。

一、Flink的安装模式

1、local(本地)

本地单机模式,一般用于测试环境是否搭建成功,很少使用

2、standload(独立集群模式

flink自带集群,开发测试使用

StandAloneHA:独立集群的高可用模式,也是flink自带,用于开发测试环境

3、on yarn(flink on yarn)

计算资源统一由hadoop yarn管理,生产环境使用

二、Local模式下的安装

1、下载

 

 2、上传文件

上传到hadoop001

3、解压

[root@hadoop001 software]# tar -xzvf flink-1.12.2-bin-scala_2.11.tgz -C /export/servers/

4、查看文件目录

5、修改环境变量

[root@hadoop001 software]# vi /etc/profile

 6、使环境变量起作用

[root@hadoop001 software]# source /etc/profile

7、查看安装成功的flink

 三、启动scala sell 交互界面

[root@hadoop001 flink-1.12.2]# start-scala-shell.sh local

1、scala命令行示例——单词计数

准备好数据文件

单词计数

benv.readTextFile("/root/a.txt").flatMap(_.split(" ")).map((_,1)).groupBy(0).sum(1).print()

 

Ctrl+d退出

 

四、启动flink本地集群

1、启动local本地模式

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值