Flink学习01 - Flink部署

学习资料

尚硅谷2021最新Java版Flink（武老师清华硕士，原IBM-CDL负责人）
我的flink练习代码地址(github)

Flink部署

Flink部署 - Standalone模式

启动flink

./bin/start-cluster.sh

停止flink

./bin/stop-cluster.sh

配置文件

• conf/flink-conf.yaml
  • 主要配置项，内存、插槽等设置
  • 插槽可执行任务数量（默认为1）（推荐为CPU核心数）：taskmanager.numberOfTaskSlots: 6
• conf/masters
  • jobmanager,提交job的入口。localhost:8081
• conf/slaves
  • taskmanager,任务管理者。可配集群

并行度优先级

单行代码 > 代码全局设置 > 提交任务时参数 > 集群配置文件中的默认并行度

socketTextStream - socket文本流默认并行度为1，设置不设置都是1

命令行提交job

./bin/flink run -c com.seafyliang.streamWordCount -p 3 /Users/seafyliang/DEV/Code_projects/Java_projects/study_projects/flink_study/target/flink_study-1.0-SNAPSHOT.jar --host localhost --port 7777

-c Entry Class 包名

-p Parallelism 并行度

—host —port 参数

如出现Job has been submitted with JobID 4560e07abc8fe42285e7b7075ef5d676，则提交成功