大数据技术分享

原文：http://wuchong.me/blog/2017/05/17/flink-internals-async-io背景Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性，于1.2版本引入。主要目的是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是向数...

Flink1.7.2 Dataset 并行计算源码分析概述了解Flink处理流程(用户程序 -> JobGrapth -> ExecutionGraph -> JobVertex -> ExecutionVertex -> 并行度 -> Task(DataSourceTask,BatchTask,DataSinkTask)了解ExecutionVete...

Flink1.7.2 Dataset 文件切片计算方式和切片数据读取源码分析源码https://github.com/opensourceteams/flink-maven-scala概述了解读取的文件或目录，具体进行切片拆分的实现了解任务读取切片中的数据规则数据文件读取结论开始位置索引从0开始的实际开始位置，0结束位置:按行一直读，直到位置索引大于等于切片大小时，再...

Flink 1.7.2 dataset transformation 示例源码https://github.com/opensourceteams/flink-maven-scala概述Flink transformation示例map,flatMap,filter,reduce,groupBy reduceGroup combineGroup Aggregate(sum,max,...

flink1.7.2 tableapi批处理示例源码https://github.com/opensourceteams/flink-maven-scala概述本文为flink1.7.2 tableapi批处理示例主要操作包括: print table,DataSet 转换成table,Scan,select,as,where / filter,groupBy,distinct,j...

Flink1.7.2 sql 批处理示例源码https://github.com/opensourceteams/flink-maven-scala概述本文为Flink sql Dataset 示例主要操作包括:Scan / Select,as (table),as (column),limit,Where / Filter,between and (where),Sum,min,...

技术交流微信:thinktothings微博:https://weibo.com/thinktothingsFlink版本为1.7.2本站持续更新中…2019-03-06…源码https://github.com/opensourceteams/flink-maven-scala查看jar中文件列表jar tvf test.jar 执行计划图地址:https://...

Flink 1.7.2 业务时间戳分析流式数据源码分析源码https://github.com/opensourceteams/flink-maven-scala概述由于Flink默认的ProcessTime是按Window收到Source发射过来的数据的时间，来算了，也就是按Flink程序接收的时间来进行计算，但实际业务，处理周期性的数据时，每5分钟内的数据，每1个小时内的数据进行...

Flink1.7.2 DataStream Operator 示例源码https://github.com/opensourceteams/flink-maven-scalahttps://github.com/opensourceteams/flink-maven-scala/tree/master/src/main/scala/com/opensourceteams/module/b...

Flink1.7.2 并行计算源码分析源码源码:https://github.com/opensourceteams/fink-maven-scala-2Flink1.7.2 Source、Window数据交互源码分析: https://github.com/opensourceteams/fink-maven-scala-2/blob/master/md/miniCluster/fli...

Flink1.7.2 Source、Window数据交互源码分析源码https://github.com/opensourceteams/fink-maven-scala-2概述Source如何按partition发射数据到对应的WindowWindow 如何处理对应的Source发过来的对应的partition数据理解Flink 数据从Source到Window,上下游数据交...

Flink Window 排序概述对增量Window进行输出排序WordCount增量(按单词名称排序)WordCount增量(按单词个数，再单词名称排序)源码https://github.com/opensourceteams/fink-maven-scala-2源码分析WordCount 程序(增量按单词升序排序)DataStream.windowAll 说明是wi...

Flink Sink 接收数据的顺序(Window发送数据顺序)概述InternalTimerServiceImpl.processingTimeTimersQueue存储着同一个Window中所有Key,取第一个key，调用WindowOperator.onProcessingTime进行处理,并发送给SinkInternalTimerServiceImpl.processingT...

Flink1.7.2 local WordCount源码分析概述Flink 环境 local,版本 Flink.1.7.2用官网示例WordCount Scala程序分析源码本文从source、operator、sink三个方面详细分析源码实现时序图https://github.com/opensourceteams/fink-maven-scala-2/blob/master/...

Blink作为Apache Flink的分支blink,2018年12月在 Flink Forward China 北京国家会议中心峰会所约，阿里巴巴内部 Flink 版本 Blink 将于 2019 年 1 月底正式开源。今天，我们终于等到了这一刻，Blink已在阿里内部上万台机器规模验证。性能远超flink 其他分支,作为下一代大数据计算引擎。github源码:https://gith...

【apache flink forward china 2018】).阿里巴巴，腾讯，美团，爱奇艺，字节跳动（抖音，头条），等一线公司上万台flink机器应用 ).一线公司已升级大数据计算引擎Flink ).公布阿里巴巴将于2019年1月左右推出阿里的flink版本批流一体计算，包括阿里在Flink中的一些升级操作 https://github.com/opensourceteams/f...