FLINK单机版安装部署入门-1

FLINK单机版安装部署

官网下载Downloads | Apache Flink

下载文件历史版本的1.9.3

https://archive.apache.org/dist/flink/flink-1.9.3/flink-1.9.3-bin-scala_2.11.tgz

# 下载Flink安装包（笔者这里测试使用Flink1.9版本，其它版本下载目录 https://flink.apache.org/downloads.html）
wget https://archive.apache.org/dist/flink/flink-1.9.3/flink-1.9.3-bin-scala_2.11.tgz

# 解压
tar -xzvf flink-1.9.3-bin-scala_2.11.tgz

netCat是linux下自带的支持TCP、UDP、Unix域协议套接字小工具，nc命令允许你创建一个连接、侦听另一个连接和传输数据。在windows环境中也可以使用
使用命令：nc -lk port号
说明： -l listen监听某个端口 k:保持住当前的连接，程序终止的话，当前server不断开
功能：启动了一个可以发送socket文本流的服务器，端口：7777

下载地址 netcat 1.11 for Win32/Win64

https://eternallybored.org/misc/netcat/

注意：

服务启动依赖jdk环境变量（确保已经安装了Java_jdk）

加上环境变量

vi source /etc/profile

export JAVA_HOME=/opt/zulu_jdk11.68.17
export PATH=$JAVA_HOME/bin:$PATH


export PATH=/opt/flink-1.9.3/bin:$PATAT

source /etc/profile

高于1.9.3需要修改配置文件flink-conf.yaml(低于1.9.3可以跳过)

修改端口号（默认端口不影响的可以直接跳过端口配置）

进入conf目录下 flink-conf.yaml 修改rest.port （8081端口过于常用，容易出现端口冲突，笔者这里改为8001）

#rest.port: 8081
rest.port: 8001

windows下需要加入如下配置,否则执行start-cluster.bat会导致TaskManager进程会退出

taskmanager.cpu.cores: 2
taskmanager.memory.task.heap.size: 512m
taskmanager.memory.managed.size: 512m
taskmanager.memory.network.min: 64m
taskmanager.memory.network.max: 64m

加上后会启动JobManager和TaskManager

linux启动集群

进入bin目录执行下面命令

# 启动Flink集群
./start-cluster.sh

# 停止Flink集群
#./stop-cluster.sh

访问Flink UI，链接http://host:8778/#/overview，查看dashboard （这里的host为部署flink的机器host）

windows下启动

windows当前能支持的最高版本是1.9.3，直接安装就行;更高的版本已经不支持windos启动了，连启动脚本都已经没有

高版本参考如下：仅供参考但是不保证能成功，基本会失败；

cmd命令行启动

flink-1.9.3\bin>.\start-cluster.bat

启动后可以在管理页面看到Available Task Slots有一个可用的slots,如果没有参考上面的flink-config.yaml缺少windows下配置项

Flink提交任务方式

1 使用Web页面Submit New Job方式提交（生产环境基本以此类方式为主）

2 使用命令行方式提交

命令方式提交

Flink安装包自带了测试样例，

运行WordCount任务

flink-\flink-1.9.3\bin> ./flink run D:\workspace\IDE\flink-1.9.3\examples\batch\WordCount.jar

运行streaming任务

examples\streaming\SocketWindowWordCount.jar

该样例为从一个ip端口获取数据，并进行单词数量统计，用来模拟数据流

运行样例分为本地运行命令行和UI界面提交运行，也就是分为本地模式和服务器模式两种

先启动端口TCP字符流

nc -lp 8888

./flink sun -c org.apache.flink.streaming.examples.socket.SocketWindowWordCount -p 1 D:\workspace\IDE\flink-1.9.3\examples\streaming\SocketWindowWordCount.jar --host localhost --port 8888

-m:指定主机名后面的端口为 JobManager的 REST 通信端口，而不是 RPC的端口，RPC通信端口是 6123（在提交任务时，是通过 REST 端口号(HTTP端口号)，将任务上传到 JobManager.）

-c: 执行的主类，指定 main 方法的全类名

-p: