- 博客(6)
- 收藏
- 关注
RSS订阅原创 Flink流计算常用算子大全
Flink 已经提供了若干实现好了的 source functions，当然我们也可以通过实现 SourceFunction 来自定义非并行的source或者实现 ParallelSourceFunction 接口或者扩展 RichParallelSourceFunction 来自定义并行的 source。这个时候本来总体数据量只需要10分钟解决的问题，出现了数据倾斜，机器1上的任务需要4个小时才能完成，那么其他3台机器执行完毕也要等待机器1执行完毕后才算整体将任务完成；逻辑上将流分区为不相交的分区。
2024-01-03 15:17:39
1887
1
原创 为什么flink那么受欢迎？
我们知道，Storm已经不流行了，目前几乎没有公司用。对于大数据开发，主流的就是Hadoop Spark和Flink，一般学习顺序也都是Hadoop——spark——Flink。现在也有很多人说Spark已经不行了，更倾向于学习和使用Flink。那是因为一些大厂例如阿里主要是使用Flink，双十一这种大型的实时计算量都是用flink来做的大数据起源于，在批处理上，Spark有很深的积累。为了应对全球大量业务的实时需求，Spark也推出了解决方案——SparkStreaming。
2024-01-02 22:07:01
1007
原创 zookeeper在kafka中是什么角色？
由于在ZooKeeper中不能重复创建同一个ZK节点，所以Kafka利用该特性选举中心节点：在Kafka选举中心节点时，会创建某一个特定路径的临时ZK节点。这样，即使多个服务同时尝试成为中心节点，也只有一个服务能成功创建该ZK节点，并成为中心节点，而其他服务可以监控该临时ZK节点，当该临时ZK节点被删除后（由于旧的中心节点因故障下线），再尝试成为新的中心节点。Kafka中的中心节点就是KafkaController节点，该KafkaController节点负责完成一些分布式协同工作，如故障转移等。
2023-12-20 00:11:46
432
1
原创 启动docker显示Docker Engine stopped怎么办？
尝试了网上好多办法，就我的问题而言，打开 控制面板-程序启用或关闭Windows功能，重新打钩选中Hyper-V后点击确定，再重启电脑问题就解决了。突然无法启动，打开Docker Desktop显示Docker Engine stopped…在windows11系统下，我的。
2023-12-09 20:16:27
11952
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人