lx1309244704的博客

转载来源：http://wuchong.me/blog/2016/04/29/flink-internals-memory-manage/Flink 原理与实现：内存管理如今，大数据领域的开源框架（Hadoop，Spark，Storm）都使用的 JVM，当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中，这就不得不面对 JVM 存在的几个问题：Java ...

转载来源：http://wuchong.me/blog/2017/03/30/flink-internals-table-and-sql-api/Flink 已经拥有了强大的 DataStream/DataSet API，可以基本满足流计算和批计算中的所有需求。为什么还需要 Table & SQL API 呢？首先 Table API 是一种关系型API，类 SQL 的API，用户...

转载来源：http://wuchong.me/blog/2016/06/06/flink-internals-session-window/在上一篇文章：Window机制中，我们介绍了窗口的概念和底层实现，以及 Flink 一些内建的窗口，包括滑动窗口、翻滚窗口。本文将深入讲解一种较为特殊的窗口：会话窗口（session window）。建议您在阅读完上一篇文章的基础上再阅读本文。当我们需...

转载来源：http://wuchong.me/blog/2016/05/25/flink-internals-window-mechanism/Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，...

转载来源：http://wuchong.me/blog/2016/05/20/flink-internals-streams-and-operations-on-streams/Flink 为流处理和批处理分别提供了 DataStream API 和 DataSet API。正是这种高层的抽象和 flunent API 极大地便利了用户编写大数据应用。不过很多初学者在看到官方 Streamin...

转载来源：http://wuchong.me/blog/2016/05/10/flink-internals-how-to-build-jobgraph/继前文Flink 原理与实现：架构和拓扑概览中介绍了Flink的四层执行图模型，本文将主要介绍 Flink 是如何将 StreamGraph 转换成 JobGraph 的。根据用户用Stream API编写的程序，构造出一个代表拓扑结构的St...

转载来源：http://wuchong.me/blog/2016/05/09/flink-internals-understanding-execution-resources/本文所讨论的计算资源是指用来执行 Task 的资源，是一个逻辑概念。本文会介绍 Flink 计算资源相关的一些核心概念，如：Slot、SlotSharingGroup、CoLocationGroup、Chain等。并会...

转载来源：http://wuchong.me/blog/2016/05/04/flink-internal-how-to-build-streamgraph/继上文Flink 原理与实现：架构和拓扑概览中介绍了Flink的四层执行图模型，本文将主要介绍 Flink 是如何根据用户用Stream API编写的程序，构造出一个代表拓扑结构的StreamGraph的。注：本文比较偏源码分析，所有...

转载来源：http://wuchong.me/blog/2016/05/03/flink-internals-overview/架构要了解一个系统，一般都是从架构开始。我们关心的问题是：系统部署成功后各个节点都启动了哪些服务，各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。当 Flink 集群启动后，首先会启动一个 JobManger 和一个或多个的 Tas...

1.centos 7安装使用所需要的环境环境名称 下载地址 netcat https://eternallybored.org/misc/netcat/ jdk8 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html flink1.7 htt...