Flink-WordCount源码解析

一、源码下载

下载地址：Apache Download Mirrors

二、idea构建

使用idea打开解压后的源码，并设置好jdk和maven配置，静等下载依赖即可。

三、WordCount源码探寻

WordCount示例是对文本文件上的单词进行计算，可以在流式和批处理执行模式下执行。

输入参数有4个：

• input ：要读取的输入文件或目录列表。如果没有提供输入，程序将使用WordCountData 中的默认数据运行
• discovery-interval : 将文件读取器转换为连续源，该源将每隔一段时间监视提供的输入目录并读取任何新文件
• output ：作业将写入结果的输出目录。如果没有提供输出路径，则作业将结果打印到 stdout
• execution-mode ：执行模式，有三种（BATCH、STREAMING、AUTOMATIC）

1、执行模式

DataStream程序的执行模式还控制着任务调度、网络洗牌行为和时间语义。某些操作还将根据配置的执行模式更改其记录排放行为。

STREAMING：

        使用流语义执行。所有任务都将在执行开始前部署，检查点将启用，并且将完全支持处理和事件时间。

BATCH：

        使用批处理语义执行。任务将根据它们所属的调度区域逐步调度，区域之间的混洗将被阻塞，水印被假设为“完美”的，即没有延迟数据，处理时间被假设在执行过程中不会提前。

AUTOMATIC：

        如果所有源都是有界的，Flink会将执行模式设置为BATCH

        或者如果至少有一个源是无界的，则将执行模式设为STREAMIN