大数据 Flink部落2

最新推荐文章于 2025-06-06 10:58:47 发布

原创最新推荐文章于 2025-06-06 10:58:47 发布

· 303 阅读

版权

文章标签：

2 篇文章

订阅专栏

（刚入大数据的大门，让每一篇文章陪伴我的成长，希望看了文章的同学能够共同进步，相互交流，也希望发现错误能够指正，也希望能和大家一同交流讨论QQ：1793655668）

Flink官方定义

Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。

给大家放一张图，大家就清楚了，这些大公司都是使用Flink处理框架。
而且据我的了解，Flink主流还在国外的一些大公司，只是近几年逐渐引入到国内。
所以，未来可期！
在这里插入图片描述
其中, 他们用 Flink 做了什么？

Alibaba 使用 Flink 的分支版本 Blink 来优化实时搜索排名。eg:当商品商家一个商品之后，实时计算引擎（Flink）在秒级别 build 商品索引，优化商品搜索。
腾讯利用 Apache Flink 构建了一个内部平台（Oceanus），以提高开发和操作实时应用程序的效率。快手使用了 Apache Flink 搭建了一个实时监控平台，监控短视频和直播的质量。
利用 Apache Flink 构建了实时数据仓库，用于即时分析运营活动效果及用户短期兴趣。华为云提供基于 Flink 的云服务。
滴滴使用 Apache Flink支持了实时监控、实时特征抽取、实时ETL等业务。
Ebay 的监控平台由 Flink 提供支持，可在指标和日志流上计算上千条自定义报警规则。
爱立信使用 Flink 构建了一个实时异常检测器，通过大型基础设施进行机器学习。
Uber 在 Apache Flink 上构建了基于 SQL 的开源流媒体分析平台 AthenaX。
Yelp 利用 Flink 为其数据连接器生态系统和流处理基础架构提供支持。
财富 500 强金融服务公司 Capital One 使用 Flink 进行实时活动监控和报警。

引自：https://blog.youkuaiyun.com/qq_31975963/article/details/100088884

事件驱动型(Event-driven)——事件驱动的应用程序是有状态的应用程序，它从一个或多个事件中提取事件，并通过触发计算，状态更新或外部操作来对传入的事件做出反应。
流与批的世界观——前面给大家介绍了批处理和流处理的定义，Flink的优势也在于它既可以进行批处理也能进行流处理。
分层api——从最底层的数据流API到最顶层的SQL
支持有状态计算——所谓状态管理就是在流式计算过程中将算子的中间结果保存在内存或者文件系统中，等下一个事件进入算子后可以让当前事件的值与历史值进行汇总累计。
支持exactly-once语义
支持事件时间（EventTime）——简单说就是能够支持事件的时间，比如日志文件中的发生时间。因为很多其他的框架只能支持系统时间，就不是很方便了。