RivenDong

文章目录1. Flink开发环境2. Flink流处理案例3. Flink批处理案例1. Flink开发环境推荐使用IntelliJ IDEA编译器，创建Maven项目，在这里给出Java语言的Maven配置：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/...

文章目录1. Flink API的抽象级别分析2. Flink DataStream常用API1. Flink API的抽象级别分析Flink中提供了4种不同层次的API：低级API：提供了对时间和状态的细粒度控制，简洁性和易用性较差，主要应用在对一些复杂事件的处理逻辑上。核心API：主要提供了针对流数据和离线数据的处理，对低级API进行了一些封装，提供了filter、sum、max、m...

文章目录1. 简介2. 基于Yarn的集群部署2.1 第1种模式2.2 第2种模式1. 简介Flink on Yarn模式的原理是依靠Yarn来调度Flink任务，这种模式可以充分的利用集群资源，提高集群机器的利用率。Flink on Yarn模式主要分为如下两种：第1种模式：在Yarn中提前初始化一个Flink集群（称为Flink yarn-session），开辟指定的资源，以后的Fli...

文章目录1. 环境准备2. 搭建步骤1. 环境准备2. 搭建步骤hadoop依赖jar包:https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.6.5-10.0/

文章目录1. 实验环境2. 集群搭建2.1 k8s1.16 版本的 Yaml 配置2.1.1 JobManager Yaml 配置2.1.2 TaskManager Yaml 配置2.1.3 JobManagerServices 配置2.2 启动Flink Session Cluster2.3 停止Flink Session Cluster1. 实验环境Kubernetes集群：3台4G的虚...

文章目录1. 前言2. 实验环境3. 集群搭建3.1 Yaml 配置3.1.1 JobManager Yaml 配置3.1.2 TaskManager Yaml 配置3.1.3 JobManagerServices 配置3.2 启动Flink Session Cluster3.3 停止Flink Session Cluster4. 坑1. 前言容器化部署是目前业界非常流行的一项技术，基于Doc...