麒思妙想

首先感谢 spark君 细心的整理，下文是早些时候在群里关于一个SparkSQL条件下推问题的实录，由于刚刚发表了一篇文章（Flink SQL vs Spark SQL）...

感谢松鼠会大佬的再三邀请。对我来说这算是一篇命题作文，那么我的答案是什么呢？刚好我也很喜欢另外一个松鼠社区，那么就用两只松鼠来做答案吧，没错，Flink和OpenGauss就是我的答案： 手把手完成一次OpenGauss的安装 手把手构建 Flink connector opengauss OpenGauss 安装操作系统建议使用openEuler20.03LTS，注意不要使用sp包，可能会因为sp包依赖升级，而导致安装失败。使用下面安装脚本，我对官方脚本进行了一些修改，适合...

在《如何利用 Flink CDC 实现数据增量备份到 Clickhouse》里，我们介绍了如何cdc到ch，今天我们已久使用前文的案例，来sink到hudi，那么我们开始吧。hudi简介Apache Hudi(发音为“Hoodie”)在DFS的数据集上提供以下流原语 插入更新 (如何改变数据集?) 增量拉取 (如何获取变更的数据?) Hudi维护在数据集上执行的所有操作的时间轴（timeline），以提供数据集的即时视图。Hudi将数据集组织到与Hive表非常相似的基本路径下

​简介本篇文章，首先会向大家阐述什么是 Flink connector 和 CDC ， 然后会通过手把手的方式和大家一起构建一个简单的GBase8s的Flink connector,并完成实践项目，即通过Mysql CDC实时通过connector同步数据到GBase8s中。什么是 Flink connectorFlink内置了一些基本数据源和接收器，这些数据源和接收器始终可用。该预定义的数据源包括文件、Mysql、RabbitMq、Kafka、ES等，同时也支持数据输出到文件、My..

挖了很久的CDC坑，今天打算填一填了。本文我们首先来介绍什么是CDC，以及CDC工具选型，接下来我们来介绍如何通过Flink CDC抓取mysql中的数据，并把他汇入Clickhouse里，最后我们还将介绍Flink SQL CDC的方式。CDC首先什么是CDC ？它是Change Data Capture的缩写,即变更数据捕捉的简称，使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括INSERT,DELETE,UPDATE等操作。...

如前文所预告的一样，今天我们来分析一下，如何通过flink完成实时热销榜单Top5的计算，本文案例，需要使用前文一些内容，如果不了解的同学，请移步《零基础学Flink：Join两个流》。案例代码存放在https://github.com/dafei1288/flink_casestudy前文我们已经聚合好了两条流，结果是将汇率和订单价格最终计算成最后的成交价格。其数据结构...