xys2333的博客

本文主要讲解On Flink Standalone的部署Flink部署以及作业提交1、前置准备：用于编译源码的机器最好满足如下配置：CPU > 4核 内存 > 8G Note：我这里使用的机器配置是4核8G，如果内存太小编译环节会发生OOM（OOM:out of Memary 超出内存）2 、安装JDK(我本地安装的是1.8)[root@hadoop2 conf]# java -versionjava version "1.8.0_131"Java(TM

本文主要讲述基于YARN进行提交任务一、Flink On YARN概念理解Flink On YARN有两种模式：Session Per-Job（1）Session模式中多了一个JobManager共享YarnResourceManager和Dispatcher,在这种模式下，需要先向Yarn申请资源，初始化一个常驻服务在Yarn上。（2）Per-Job则相反，他是JobManager独享YARNResourceManager 和Dispatcher,也就是提交一个Job都会新建.

一、Apache Flink简述：分布式大数据处理引擎，可以对有限流和无限流进行有状态的计算，可以部署在各种集群环境，对大小的数据规模进行快速计算。基于数据流的有状态计算。二、环境部署1.环境说明：IP：192.168.56.77部署位置：/usr/flink/flink-1.11.22.下载地址：Wgethttp://mirror.bit.edu.cn/apache/flink/flink-1.11.2/flink-1.11.2-bin-scala_2.11.tgz.