Flink实时计算
关注
分享
扫一扫
flink流处理相关技术
fql123455
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Flink的窗口策略
概述Windows是流计算的核心。Windows将流分成有限大小的“buckets”，我们可以在其上应用聚合计算表（ProcessWindowFunction, ReduceFunction,AggregateFunction or FoldFunction）等。在Flink中编写一个窗口计算的基本结构如下：keyed Windowsstream .keyBy(...) ...原创 2019-10-22 14:09:21 · 919 阅读 · 0 评论 -
Flink的状态管理
State 和Fault Tolerance（重点）有状态操作或者操作算子在处理DataStream的元素或者事件的时候需要存储计算状态，这就使得状态在整个Flink的精细化计算中扮演着非常重要的地位：- 记录数据某一个过去时间段到当前时间期间数据状态信息。- 在每分钟/小时/天汇总事件时，状态保留待处理的汇总记录。- 在训练机器学习模型时，状态保持当前版本的模型参数。Flink=管理状...原创 2019-10-17 08:48:36 · 1004 阅读 · 2 评论 -
Flink的DataStream API
参考： https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/datastream_api.htmlData SourcesSources 是程序读取其输入的位置，可以使用fsEnv.addSource（sourceFunction）将Source附加到程序中。Flink内置了许多预先实现的SourceFunction,...原创 2019-10-16 09:33:49 · 370 阅读 · 0 评论 -
Flink的安装与开发环境搭建
Flink的安装前提条件HDFS正常启动（SSH免密人证）JDK 1.8+Flink的安装上传并解压flink[root@CentOS ~]# tar -zxf flink-1.8.1-bin-scala_2.11.tgz -C /usr配置flink-conf.yaml配置文件root@CentOS ~]# vi /usr/flink-1.8.1/conf/fli...原创 2019-10-14 20:57:07 · 724 阅读 · 0 评论 -
Flink的基本概念与架构
概述Flink是构建在数据流之上的一款有状态计算框架。通常被人们称为第三代大数据分析方案。第一代大数据处理方案：Hadoop Map Reduce 静态批处理 | Storm实时流计算，两套独立的计算引擎，开发难度大。第二代大数据处理方案： Spark RDD静态批处理、Spark Streaming（DStream）实时流计算（实时性差），统一的计算引擎 难度小。第三代大数据处理方案：A...原创 2019-10-14 19:20:39 · 865 阅读 · 0 评论 -
Apache Flink之架构概述和环境
背景介绍继Spark之后第三代内存计算框架Flink应运而生，Flink作为第三代计算框架Flink吸取了二代大数据Spark计算的设计的精华，依然采用DAG模型做任务拆分，但是Spark在流处理领域上因为微观批处理实时...转载 2019-09-28 19:48:11 · 226 阅读 · 0 评论 -
Apache Flink DataStream API之程序结构分析&DataSource
作者：jiangzz 电话：15652034180 微信：jiangzz_wx 微信公众账号：jiangzz_wyApacheFli...转载 2019-09-28 19:50:30 · 231 阅读 · 0 评论 -
Apache Flink DataStream API之Transformation
DataStream 数据转换常规操作符// order zhangsan TV,GAMEval env = StreamExecutionEnvironment.createLocalEnvironment()v...转载 2019-09-28 19:53:23 · 464 阅读 · 0 评论