
flink
文章平均质量分 57
流式处理
菠萝科技
"Java并没有衰落.而是刚刚开始"
展开
-
flink:风控/反欺诈检测系统案例研究1,2,3
https://flink.apache.org/news/2020/01/15/demo-fraud-detection.htmlhttps://flink.apache.org/news/2020/03/24/demo-fraud-detection-2.htmlhttps://flink.apache.org/news/2020/07/30/demo-fraud-detection-3.html在本系列博文中,您将了解用于构建流应用程序的三种强大的 Flink 模式:应用逻辑的..原创 2021-08-28 09:08:40 · 1038 阅读 · 0 评论 -
flink:RoaringBitmap在亿级用户实时UV精确去重中应用
RoaringBitmap 是压缩位图,其性能往往优于传统的压缩位图,例如 WAH、EWAH 或 Concise。某些情况下可以快数百倍,甚至可以比未压缩的位图更快。RoaringBitmap 常用于去重、标签筛选、时间序列等计算中。原创 2021-07-04 21:14:31 · 2517 阅读 · 3 评论 -
flink和sentinel中计算当前时间所属的时间窗口算法
flink中:org.apache.flink.streaming.api.windowing.windows.TimeWindowpublic static long getWindowStartWithOffset(long timestamp, long offset, long windowSize) { return timestamp - (timestamp - offset + windowSize) % windowSize; }sentinel.原创 2021-05-04 16:58:14 · 304 阅读 · 0 评论 -
基于 Flink+Hive 构建流批一体准实时数仓
作者 | 李劲松(之信)策划 | 蔡芳芳转载自:https://weibo.com/ttarticle/p/show?id=2309404557437377053321#_0基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性,但由于它是离线的,延时很大。在一些对延时要求比较高的场景,需要另外搭建基于 Flink 的实时数仓,将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗,甚至导致重复开发。想要搭建.原创 2020-10-08 10:04:48 · 1283 阅读 · 0 评论 -
Apache Flink 1.9.0做了这些修改
阿里妹导读:8月22日,Apache Flink 1.9.0 正式发布。早在今年1月,阿里便宣布将内部过去几年打磨的大数据处理引擎Blink进行开源并向 Apache Flink 贡献代码。此次版本在结构上有重大变更,修改代码达150万行,接下来,我们一起梳理 Flink 1.9.0 中非常值得关注的重要功能与特性。Flink 1.9.0是阿里内部版本 Blink 合并入 Flink 后的首次发版,修改代码150万行,此次发版不仅在结构上有重大变更,在功能特性上也更加强大与完善。本文将为大家介绍 Fli转载 2020-06-26 18:43:25 · 374 阅读 · 0 评论 -
Flink 在快手实时多维分析场景的应用
视频:Apache Flink在快手实时多维分析场景的应用 | 企业实践专场6 人赞同了该文章简介:作为短视频分享跟直播的平台,快手有诸多业务场景应用了 Flink,包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。此次主要介绍在快手使用 Flink 在实时多维分析场景的应用与优化。作者:董亭亭、徐明摘要:作为短视频分享跟直播的平台,快手有诸多业务场景应用了 Flink,包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。此次主..转载 2020-06-26 21:16:50 · 627 阅读 · 0 评论