Flink
关注
分享
扫一扫
u4110122855
1.熟悉 Spark、 ElasticSearch、 Kafka、 Solr、 Impala等分布式开源组件
2.熟悉 Spark、 MapReduce 计算框架和工作原理，了解Tez框架
3.熟悉 Scala、 Java、C/C++等编程语言，了解html语言
4.熟悉 Linux 操作系统，能够使用Shell脚本语言编程
5.灵活使用 MySql， Oracle， MS SQL Server 等关系数据库
6.熟悉 Cloudera Hadoop 和纯粹开源 Hadoop 版本的组件
7.有较为丰富的集群部署、开发和维护管理经验
展开
-
精通Apache Flink读书笔记--1、2
1、Apache Flink介绍既然有了Apache Spark，为什么还要使用Apache Flink？因为Flink是一个纯流式计算引擎，而类似于Spark这种微批的引擎，只是Flink流式引擎的一个特例。其他的不同点之后会陆续谈到。1.1 历史Flink起源于一个叫做Stratosphere的研究项目，目标是建立下一代大数据分析引擎，其在2014年4月16日成为Apache的...转载 2018-08-02 15:38:28 · 460 阅读 · 0 评论 -
Apache Flink：流处理中Window的概念
Apache Flink–DataStream–Window什么是Window？有哪些用途？ 下面我们结合一个现实的例子来说明。我们先提出一个问题：统计经过某红绿灯的汽车数量之和？ 假设在一个红绿灯处，我们每隔15秒统计一次通过此红绿灯的汽车数量，如下图： 可以把汽车的经过看成一个流，无穷的流，不断有汽车经过此红绿灯，因此无法统计总共的汽车数量。但是，我们可以换一种思路，每隔15秒...转载 2018-08-02 15:41:51 · 473 阅读 · 0 评论 -
Flink 原理与实现：Window 机制
Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这是我认为的 Flink 最大的亮点之一（其他的亮点包括消息乱序处理，和 checkpoint 机制）。本文我们将介绍流式处理中的窗口概念，介绍 F...转载 2018-08-02 15:46:54 · 11289 阅读 · 3 评论 -
Flink 1.4.2的安装
依赖需求Java 1.8.0 Scala code runner version 2.11.2 Hadoop2.7 配置安装首先解压安装包flink-1.4.2-bin-hadoop27-scala_2.11.tgz [root@hadoop222 conf]# tar -xvzf flink-1.4.2-bin-hadoop27-scala_2.11.tgz ...原创 2018-08-16 17:33:01 · 1455 阅读 · 0 评论