qq_34608620的博客

为什么你的Flink运行开始减慢了？为什么你试遍Flink参数还是无法解决？Flink背压常常发生在生产事故中，切记不要掉以轻心。不知为何，最近的我开始走下坡路了。。。1 故事的开始此刻，我抬头看了一眼坐在对面的这个家伙: 格子衫、中等身材，略高的鼻梁下顶着一副黑框眼镜，微眯的目光透出丝丝倦意，正一眨不眨地盯着我看。我心里直犯嘀咕: 我又有什么好看的呢？不过是A君你用来换取面包、汽车的工具罢了。虽然陪伴了五年的时光，想来也就是如此~说到这，忘了自我介绍了。我叫Flink，当然，我还是喜欢.

指标体系指标建设过程中遇到的问题指标建设方法论指标的构成如何设立指标体系评价指标体系指标管理场景落地总结指标体系提起指标这个词，每个人似乎都可以说出几个指标，像经常在工作中会听到的日活、月活、注册率、转化率、交易量等 事实上指标就是用来量化事物的一个工具，帮助我们去将一些抽象的事件得出一个轮廓上的描述。例如我们可以从指标上判断一个产品的好坏，用户粘性等等，例如我们通过日活能去判断出我们整个产品的用户量，从而能反应出我们这个产品的一个健康程度，也就是..

开头从19年开始注册，荒废了一年，大概从20年年底开始正式运营，早期定位是个人总结复盘，没有萌生以此作为副业的念头，开始的文章大多偏向于技术底层。21年看着身边的朋友搞有了不错的收入后，也渐渐的想加入进来，但随着深入之后发现其实并不简单，大家都知道是一个封闭式流量池，引流是一件很痛苦的事情，而且小编对于运营也是一窍不通，这一年也是搞了些花里胡哨的运营手段，再加上平时工作比较繁忙。所以截止目前向朋友们炫耀一下得到的一些成绩：1、即没有破万粉2、阅读量也很惨淡3、得到一些粉丝的谩骂,吃相难看4、也

1.序篇-先说结论本文主要记录小伙伴萌在使用 DataStream API 实现事件时间窗口类应用时会遇到的窗口不触发问题的坑以及其排查过程。博主希望你在看完本文后一定要养成这个编程习惯：使用 DataStream API 实现 Flink 任务时，Watermark Assigner 能靠近 Source 节点就靠近 Source 节点，尽量前置。要想问为啥，接着往下看！！！我从以下几个章节说明上述的问题以及为什么这样建议，希望能抛砖引玉，带给大家一些启发。⭐ 踩坑场景篇-这个坑是啥样的

与大家一起学习大数据开发、面试、框架、实时离线计算、数仓保障 Flink/ClickHouse/Kafka/Spark/Hadoop 技术干货、资料下载、源码解读等 ...

1.前言看了那么多的技术文，你能明白作者想让你在读完文章后学到什么吗？大数据羊说__的文章会让你明白博主会阐明博主期望本文能给小伙伴们带来什么帮助，让小伙伴萌能直观明白博主的心思博主会以实际的应用场景和案例入手，不只是知识点的简单堆砌博主会把重要的知识点的原理进行剖析，让小伙伴萌做到深入浅出gzh：大数据羊说与大家一起学习大数据开发、面试、框架、实时离线计算、数仓保障 Flink/ClickHouse/Kafka/Spark/Hadoop 技术干货、资料下载、源码解读等52篇

看了那么多的技术文，你能明白作者想让你在读完文章后学到什么吗？大数据羊说的文章会让你明白

看了那么多的技术文，你能明白作者想让你在读完文章后学到什么吗？大数据羊说的文章会让你明白 大数据羊说 用数据提升美好事物发生的概率~ 43篇原创内容

用数据提升美好事物发生的概率~

1.序篇看了那么多的技术文，你能明白作者想让你在读完文章后学到什么吗？大数据羊说的文章会让你明白1. 博主会阐明博主期望本文能给小伙伴们带来什么帮助，让小伙伴萌能直观明白博主的心思2. 博主会以实际的应用场景和案例入手，不只是知识点的简单堆砌3. 博主会把重要的知识点的原理进行剖析，让小伙伴萌做到深入浅出进入正文。源码公众号后台回复1.13.2 sql join 的奇妙解析之路获取。下面即是文章目录，也对应到本文的结论，小伙伴可以先看结论快速了解本文能给你带来什么帮助：背景及应用场景介绍：join 作为离线

想啥呢，小宝贝，还不三连？？？（关注  +  点赞 + 再看），对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！1.序篇源码公众号后台回复1.13.2 deduplication 的奇妙解析之路获取。下面即是文章目录，也对应到了本文的结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：背景及应用场景介绍：博主期望你了解到，flink sql 的 deduplication 其实就是 row_number = 1，所以它可以在去重的同时，还能保留原始字段数据来一

想啥呢，小宝贝，还不三连？？？（关注  +  点赞 + 再看），对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！1.序篇源码公众号后台回复1.13.2 cumulate window 的奇妙解析之路获取。此节就是窗口聚合章节的第三篇，上节介绍了 1.13 window tvf tumble window 实现，本节主要介绍 1.13. window tvf 的一个重磅更新，即 cumulate window。本节从以下几个章节给大家详细介绍 cumulate window 的能

1.前言本文主要是分享目前博主理解的流批一体产生的背景，想解决的问题，以及后续可能实现的思路，并以几个案例进行介绍。抛砖引玉，让大家不止停留在做流批一体这件事，而是能更深入思考背后的原因。2.背景在介绍流批一体之前，首先看看目前流和批领域常用的引擎：批任务：常用 Hive、Spark。流任务：常用 Flink。Spark Streaming 与 Storm 使用率目前在流式场景会小于 Flink。3.什么问题导致产生了流批一体的概念呢？一个前提：在生产场景中，当同一个口径的指标分别用流任务产出了实时数据，用

感谢您的小爱心（关注  +  点赞 + 再看），对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！1.序篇-本文结构 大数据羊说 用数据提升美好事物发生的概率~

感谢您的小爱心（关注  +  点赞 + 再看），对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！1.序篇-本文结构前面的章节铺垫了那么多，终于在本节走入一条 query 了。针对 datastream api 大家都比较熟悉了，还是那句话，在 datastream 中，你写的代码逻辑是什么样的，它最终的执行方式就是什么样的。但是对于 flink sql 的执行过程，大家还是不熟悉的。因此本文通过以下章节使用 ETL，group agg（sum，count等）简单聚合类 quer

感谢您的小爱心（关注  +  点赞 + 再看），对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！1.序篇-本文结构 大数据羊说 用数据提升美好事物发生的概率~

感谢您的关注  +  点赞 + 再看，对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！1.序篇-本文结构 大数据羊说 用数据提升美好事物发生的概率~

❝感谢您的「关注  +  点赞 + 再看」，对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！❞1.序篇-先说结论 大数据羊说 用数据提升美好事物发生的概率~

感谢您的关注  +  点赞 + 再看，对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！1.序篇-本文结构背景篇-为啥需要 redis 维表目标篇-做 redis 维表的预期效果是什么难点剖析篇-此框架建设的难点、目前有哪些实现维表实现篇-维表实现的过程总结与展望篇本文主要介绍了 flink sql redis 维表的实现过程。如果想在本地测试下：

感谢您的关注  +  点赞 + 再看，对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！1.序篇-先说结论 大数据羊说 用数据提升美好事物发生的概率~

感谢您的关注  +  点赞 + 再看，对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！1.序篇-本文结构本文从以下五个小节介绍 flink sql source\sink\format 的概念、原理。背景篇-关于 sql定义篇-sql source、sink实战篇-sql source、sink 的用法原理剖析篇-sql source、sink 是怎么跑起来的总结与展望篇2.背景篇-关于 sql关于 flink sql 的定位。先聊聊使用 sql 的原因，总结来说就是一切从简。

生产实践 | Flink + 直播（二）| 如何建设实时公共画像维表？❝本系列每篇文章都是从一些实际生产实践需求出发，解决一些生产实践中的问题，抛砖引玉，以帮助小伙伴们解决一些实际生产问题。本篇文章主要介绍直播间画像实时维表建设的整个过程，如果对小伙伴有帮助的话，欢迎点赞 + 再看~❞技术架构回顾上一节的「技术架构」图。技术架构整个架构相对来说是比较好理解的。从数据源到数据处理以及最后到数据汇部分。但是大家的疑惑点可能就集中在三个维表的建设上，包含「主播用户画像维表，观.

生产实践 | 基于 Flink 的直播实时数据建设 （一）| 需求和架构篇❝本系列每篇文章都是从一些实际生产实践需求出发，解决一些生产实践中的问题，抛砖引玉，以帮助小伙伴们解决一些实际生产问题。相信大家或多或少都观看过直播，那大家有没有想过，如果自己负责建设公司内整体直播实时数据，会怎样去建设呢？本系列文章主要介绍直播实时数据建设的整个过程，如果对小伙伴有帮助的话，欢迎点赞 + 再看~❞首先思考几个问题 「WHAT：相信大家或多或少都观看过直播，甚至自己就是一名主播或负责的业务就是直播相关

踩坑记 | Flink 天级别窗口中存在的时区问题本系列每篇文章都是从一些实际的 case 出发，分析一些生产环境中经常会遇到的问题，抛砖引玉，以帮助小伙伴们解决一些实际问题。本文介绍 Flink 时间以及时区问题，分析了在天级别的窗口时会遇到的时区问题，如果对小伙伴有帮助的话，欢迎点赞 + 再看~本文主要分为两部分：第一部分（第 1 - 3 节）的分析主要针对 flink，分析了 flink 天级别窗口的中存在的时区问题以及解决方案。第二部分（第 4 节）的分析可以作为所有时区问题的分析思路，

Tips | Flink 使用 union 代替 join、cogroup本系列每篇文章都比较短小，不定期更新，从一些实际的 case 出发抛砖引玉，提高小伙伴的姿♂势水平。本文介绍在满足原有需求、实现原有逻辑的场景下，在 Flink 中使用 union 代替 cogroup(或者join) ，简化任务逻辑，提升任务性能的方法，阅读时长大概一分钟，话不多说，直接进入正文！需求场景分析需求场景需求诱诱诱来了。。。数据产品妹妹想要统计单个短视频粒度的点赞，播放，评论，分享，举报五类实时指标，并且汇总

Tips | Flink sink schema 字段设计小技巧公众号(mangodata)里回复 flink 关键字可以获取 flink 的学习资料以及视频。本系列每篇文章都比较短小，不定期更新，从一些实际的 case 出发抛砖引玉，提高小伙伴的姿♂势水平。本文介绍 Flink sink schema 字段设计小技巧，阅读时长大概 2 分钟，话不多说，直接进入正文！sink schema 中添加 version 版本字段如 title，直接上实践案例和使用方式。实践案例及使用方式非故障场