超级会员免费看
本文探讨了Flink在实时流处理中如何处理两个流的关联问题，包括JoinedStreams、CoGroupedStreams和ConnectedStreams。内容涉及关联范围的确定、数据存放策略、排列组合方式以及各种关联操作的适用场景。特别指出， JoinedStreams和CoGroupedStreams通过窗口确定关联范围，而ConnectedStreams则依赖用户自定义实现，适用于不同类型的流关联需求。
概览
离线批处理中两个表做关联很简单，把两个表的数据根据关联条件做shuffle，然后做匹配就可以了，但是实时的两个流做关联就比较复杂，需要考虑的问题有：
- 两个流是无限的，其中一个流来一条新数据，去另一个流做关联时，怎么确定关联的范围？
- 如果关联范围确定了，那么左右两个流的数据怎么存放？如果使用缓存，那么缓存的清理策略是什么？
- 怎么做排列组合？是full outer join(笛卡尔积)还是left join
- 适用场景有哪些？
接下来分析flink提供的集中流关联的方式，找到以上四个问题的答案
JoinedStreams & CoGroupedStreams
1、怎么确定关联范围
JoinedStreams和CoGroupedStreams的范围都是通过开窗来确定的，两个流具有相同key的record被放到同一个window
DataStream<T
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
