
Flink
有梦想的人不睡觉121
大数据开发
展开
-
Flink 原理与实现:理解 Flink 中的计算资源
原文地址 https://yq.aliyun.com/articles/64819摘要: 本文所讨论的计算资源是指用来执行 Task 的资源,是一个逻辑概念。本文会介绍 Flink 计算资源相关的一些核心概念,如:Slot、SlotSharingGroup、CoLocationGroup、Chain等。并会着重讨论 Flink 如何对计算资源进行管理和隔离,如何将计算资源利用率最大化等等。理解...转载 2018-06-22 09:15:51 · 10400 阅读 · 0 评论 -
基于 Flink 的实时特征平台在携程的应用
本文来自7月26日在上海举行的 Flink Meetup 会议,分享来自于刘康,目前在大数据平台部从事模型生命周期相关平台开发,现在主要负责基于flink开发实时模型特征计算平台。熟悉分布式计算,在模型部署及运维方面有丰富实战经验和深入的理解,对模型的算法及训练有一定的了解。本文主要内容如下: 在公司实时特征开发的现状基础上,说明实时特征平台的开发背景、目标以及现状 选择F...转载 2018-08-13 09:59:45 · 7785 阅读 · 0 评论 -
Flink在唯品会的实践
本文来自于王新春在2018年7月29日 Flink China社区线下 Meetup·上海站的分享。王新春目前在唯品会负责实时平台相关内容,主要包括实时计算框架和提供实时基础数据,以及机器学习平台的工作。之前在美团点评,也是负责大数据平台工作。他已经在大数据实时处理方向积累了丰富的工作经验。本文主要内容如下: 唯品会实时平台现状 Flink在唯品会的实践 Flin...转载 2018-08-23 09:30:45 · 6180 阅读 · 0 评论 -
Flink 原理与实现:内存管理
原文地址:https://yq.aliyun.com/articles/57815?spm=a2c4e.11153940.blogrightarea64820.29.71e5167cM5y5cc摘要: 如今,大数据领域的开源框架(Hadoop,Spark,Storm)都使用的 JVM,当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中,这就不得不面对 JVM 存...转载 2018-09-07 11:35:13 · 8202 阅读 · 0 评论 -
Flink安装、部署、KafkaSource、SinKToMysql
flink安装、部署、测试下载flink安装包flink下载地址https://archive.apache.org/dist/flink/flink-1.5.0/因为例子不需要hadoop,下载flink-1.5.0-bin-scala_2.11.tgz即可上传至机器的/opt目录下解压tar -zxf flink-1.5.0-bin-scala_2.11.tgz -...原创 2018-11-16 10:27:35 · 3286 阅读 · 2 评论