beyond的博客

由于工作需要最近学习flink现记录下Flink介绍和实际使用过程这是flink系列的第九篇文章local方式(本地测试用)该方式是在Java虚拟机上运行Flink程序，或者是在正在运行程序的Java虚拟机上,像我们在IDE上直接运行就是采用的local方式，这种方式会获取到一个LocalExecutionEnvironment(或者CollectionEnvironment)类的环境上下文对象，默认并行度是当前可用处理器的Java虚拟机的数量，参考链接standalone方式（测试环境用）.

由于工作需要最近学习flink现记录下Flink介绍和实际使用过程这是flink系列的第九篇文章Flink JVM 进程的 进程总内存（Total Process Memory）包含了由 Flink 应用使用的内存（Total Flink Memory）以及由运行 Flink 的 JVM 使用的内存（JVM specific memory）。Flink 总内存（Total Flink Memory）包括 JVM 堆内存（JVM Heap）和堆外内存（Off-Heap Memory）。 其中堆外内.

由于工作需要最近学习flink现记录下Flink介绍和实际使用过程这是flink系列的第七篇文章Flink 中广播流之BroadcastStream使用场景使用案例数据流和广播流connect方法BroadcastProcessFunction 和 KeyedBroadcastProcessFunction重要注意事项使用场景背景：我们定义两个流，一个流包含图形（Item），具有颜色和形状两个属性。另一个流包含特定的规则（Rule），代表希望寻找的模式。在图形流中，我们需要首先使用颜.

由于工作需要最近学习flink现记录下Flink介绍和实际使用过程这是flink系列的第六篇文章Flink 中并行度的概念及使用并行度SlotsSlots概念slot共享并行度的使用方法并行度优先级并行度一个任务（Source、Transformation、Sink）的并行实例（线程〉数目称为该任务的并行度SlotsSlots概念在flink中，把对资源的最小抽象称作slot，可以理解为是资源的最小管理单位，它是TaskManager资源的一个子集。通过slot，flink将资源进行有.

由于工作需要最近学习flink现记录下Flink介绍和实际使用过程这是flink系列的第五篇文章自定义SinkSink介绍SinkFunction接口介绍RichSinkFunction类介绍Sink介绍flink的sink是flink三大逻辑结构之一（source，transform，sink）,功能就是负责把flink处理后的数据输出到外部系统中。在编写代码的过程中，我们可以使用flink已经提供的sink，如kafka，jdbc,es等。连接器是否提供Source支持是否提供Sink.

由于工作需要最近学习flink现记录下Flink介绍和实际使用过程这是flink系列的第四篇文章Flink DataStream 窗口介绍及使用窗口介绍时间窗口翻滚窗口（数据以一个时间断为节点不会有重复）滑动窗口会话窗口全局窗口窗口函数减少函数聚合函数进程窗口函数窗口介绍Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink .

由于工作需要最近学习flink现记录下Flink介绍和实际使用过程这是flink系列的第三篇文章Flink DataStream 算子介绍及使用算子介绍数据流常用转换方法MapFlatMapFilterKeyByreduceUnion算子介绍用户通过算子能将一个或多个 DataStream 转换成新的 DataStream，在应用程序中可以将多个数据转换算子合并成一个复杂的数据流拓扑。这部分内容将描述 Flink DataStream API 中基本的数据转换API，数据转换后各种数据分区方.

由于工作需要最近学习flink现记录下Flink介绍和实际使用过程这是flink系列的第二篇文章Flink 中的 API这里介绍我们常用的DataStream API：Flink API 第二层抽象是 Core APIs。实际上，许多应用程序不需要使用到上述最底层抽象的 API，而是可以使用 Core APIs 进行编程：其中包含 DataStream API（应用于有界/无界数据流场景）和 DataSet API（应用于有界数据集场景）两部分。Core APIs 提供的流式 API（Flu.

由于工作需要最近学习flink现记录下Flink介绍和实际使用过程这是flink系列的第一篇文章Flink基础概念介绍流处理并行 Dataflows自定义时间流处理有状态流处理通过状态快照实现的容错流处理在自然环境中，数据的产生原本就是流式的。无论是来自 Web 服务器的事件数据，证券交易所的交易数据，还是来自工厂车间机器上的传感器数据，其数据都是流式的。但是当你分析数据时，可以围绕 有界流（bounded）或 无界流（unbounded）两种模型来组织处理数据，当然，选择不同的模型，程序的执.