
Flink
文章平均质量分 93
Flink实战
我从来不吃糖
老保安了.
展开
-
Flink之统计PVUV
大数据开发最常统计的需求可能就是 PV、UV。PV 全拼 PageView,即页面访问量,用户每次对网站的访问均被记录,按照访问量进行累计,假如用户对同一页面访问了 5 次,那该页面的 PV 就应该加 5。UV 全拼为 UniqueVisitor,即独立访问用户数,访问该页面的一台电脑客户端为一个访客,假如用户对同一页面访问了 5 次,那么该页面的 UV 只应该加 1,因为 UV 计算的是去重后的用户数而不是访问次数。当然如果是按天统计,那么当天 0 点到 24 点相同的客户端只被计算一次,如果过了今天 2原创 2020-06-27 10:54:24 · 1345 阅读 · 1 评论 -
Flink源码阅读之Flink_Core_Memory
Flink源码阅读----04 源码分析 1.MemorySegment HeapMemorySegment和HybridMemorySegment都是MemorySegment类的子类 HeapMemorySegment表示此类表示由Flink管理的堆内存。该段由字节数组支持,并具有针对基本类型的随机放置和获取方法,以及比较和交换方法。此类专门用于堆内存的字节访问和字节复制调用,同时重用Mem...原创 2020-03-25 10:00:12 · 396 阅读 · 1 评论 -
FLink学习之数据是怎么进来的
FLink学习002——数据是怎么进来的 1.Flink世界观 在flink的世界观中一切都是由流组成的,离线数据是有界限的流,实时数据是一个没有界限的流,这就是所谓的有界流和无界流。 无界数据流:无界数据流有一个开始但是没有结束,它们不会在生成时终止并提供数据,必须连续处理无界流,也就是说必须在获取后立即处理event。对于无界数据流我们无法等待所有数据都到达,因为输入是无界的,并且在任何时...原创 2020-03-14 20:05:05 · 505 阅读 · 1 评论 -
Flink学习之环境搭建,项目结构
1.Flink安装准备 Flink 是一个以 Java 及 Scala 作为开发语言的开源大数据项目,代码开源在 GitHub 上,并使用 Maven 来编译和构建项目。对于大部分使用 Flink 的同学来说,Java、Maven 和 Git 这三个工具是必不可少的,另外一个强大的 IDE 有助于我们更快的阅读代码、开发新功能以及修复 Bug。因为篇幅所限,我们不会详述每个工具的安装细节,但会...原创 2020-03-14 17:19:58 · 1851 阅读 · 1 评论