- 博客(10)
- 收藏
- 关注
RSS订阅原创 Flink学习 - 10. Flink Side Output 侧输出
Flink学习 - 10. Flink Side Output 侧输出Side Output概念Side Output 使用方式定义OutputTag使用特定函数产生数据流处理Side Output数据流处理延迟数据Side Output概念Side Output简单来说就是在你程序执行过程中，你需要将从主流stream中获取额外的流的方式，也就是在处理一个数据流的时候，将这个流中的不同的业务...
2020-01-13 20:05:50
2984
原创 Flink学习 - 9. Checkpoint使用方式
Flink学习 - 9. Checkpoint使用方式checkpoint 开启checkpoint 模式checkpoint存储位置实例代码启动程序碰到的问题checkpoint 开启默认的checkpoint是关闭的，需要使用的使用要优先开启开启方式：StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecu...
2020-01-13 16:28:32
3221
原创 Flink学习 - 1. Flink基本介绍
Flink学习-Flink基本介绍Flink 概念Flink的具体优势API支持整合支持Flink官网 ： https://flink.apache.org/Flink-github: https://github.com/apache/flinkFlink 概念传统的流处理和批处理是完全不同的应用类型，因为他们所提供的SLA是完全不同的：流处理一般需要支持低延迟、Exactly-once...
2020-01-10 17:09:22
345
原创 Flink学习 - 8. Checkpoint 与 Savepoint 区别
Flink学习 - 8. Checkpoint 与 Savepoint 区别CheckpointSavepointSavepoint 与 Checkpoint 的区别CheckpointCheckPoint可以理解为： 将State状态数据持久化，注意这个CheckPoint是在同一时间点 Task/Operator的状态的全局快照。CheckPoint是Flink在输入的数据集上间隔性的生...
2020-01-10 15:38:39
1006
原创 Flink学习 - 7. Flink CheckPoint数据容错机制
Flink学习 - 7. Flink CheckPoint数据容错机制有状态计算什么是状态Keyed StateOperator State状态管理state的数据类型Keyed StateOperator StateFlink中使用stateCheckPoint单流的barrier并行的barrierCheckpoint 的执行机制StatebackendHeapStateBackendRock...
2020-01-10 15:36:46
363
原创 Flink学习 - 6. Flink on yarn 提交流程 及 资源管理
Flink学习 - 6. Flink on Yarn 提交任务流程Flink On YarnFlink On Yarn流程图大致如下：flink-client将任务提交到yarn，会将所有依赖的jar和config等温江上传到hdfs中向resourceManager申请资源，Resourcemanager中主要包含两部分：applicationManager和resourceSche...
2020-01-06 11:21:06
1674
原创 Flink学习 - 5. Flink之DataSource
Flink学习 - 5. Flink之DataSourceDataSourceFlink自带的DataSourcesocket给定元素基于集合文件生成自定义DataSourceRichSourceFunctionDataSource简单来说，DataSource是指数据来源，也是其字面意思，Flink无论是实时流计算还是批计算都基于数据进行，其数据源是非常重要的一部分，Flink在命名这一方面...
2019-12-23 17:52:37
474
原创 Flink学习 - 4. Flink 配置文件参数 && Flink任务提交参数
Flink学习 - 提交参数参数说明参数说明执行 flink run 后参数：参数说明Action "run" compiles and runs a program.Syntax: run [OPTIONS] <jar-file> <arguments>"run" action options: -c,--class <classname> ...
2019-12-20 19:49:33
7422
原创 Flink学习 - 3. Flink安装部署
Flink学习- Flink安装部署downloads环境要求Local解压tar包：启动：web 访问关闭服务：StandaloneCluster修改配置文件启动停止在集群上添加 JobManager添加TaskManagerYarnyarn-sessionrun on yarndownloads官网进行下载： https://flink.apache.org/downloads.html...
2019-12-20 19:46:01
436
1
原创 Flink学习 - 2. Flink之WordCount
Flink学习-2. Flink之WordCountFlink项目要求Flink项目模板基于java实现的项目模板Maven archetypeQuick Start基于Scala实现的项目模板Maven archetypeQuick Start构建Flink项目Maven依赖java项目scala项目项目代码javascala执行过程中问题Flink项目要求Maven 3.0.4 （或者更高...
2019-12-15 16:20:24
279
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人