Spark Streaming Join with Watermark

最新推荐文章于 2021-12-15 20:01:48 发布

tzw_cs

最新推荐文章于 2021-12-15 20:01:48 发布

阅读量1.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Hadoop 文章标签： spark streaming azure

本文链接：https://blog.youkuaiyun.com/tanzhangwen/article/details/80815993

本文通过实例展示了如何在Spark Streaming中使用Watermark进行Stream-Stream Join。通过发送到两个EventHubs的不同日志数据，演示了在Databricks上执行的join操作，其中考虑了事件时间和watermark来丢弃延迟数据。尽管API不支持全外连接，但通过id和事件时间实现了近似的join效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我们常常会有这样的应用场景，就是一个复杂系统可能是由多个模块组成，然后每个模块都会有自己的logging系统。最后我们在处理日志数据的时候，会希望能够把不同模块的日志数据join在一起。一个简单的例子就是，广告有显示的日志，然后当用户点击了广告后又会有点击的日志，那么如果我想把广告信息和点击信息组合在一起就需要从这两个日志流源得到的数据进行join。这在API文档里面有相应的介绍Stream-Stream-Joins.

下面这个例子模拟的是，我们往两个eventhubs分别发送信息，包括id、value以及事件时间。对于每一个id，假定都会给两个eventhubs更发送一次信息。下面的streaming代码则是来测试从这两个eventhubs数据源读取数据进行join的操作。

        public void Send()
        {
            Random rnd = new Random();
            int id = 100000;
            while (true)
            {
                var x = rnd.Next(30);
                var payload1 = id.ToString() + ";" + x.ToString() + ";" + DateTime.Now.AddMinutes(-x).ToString("yyyyMMdd HH:mm:ss");
                EventData eventData1 = new EventData(Encoding.ASCII.GetBytes(payload1));
                client.Send(eventData1);
                Console.WriteLi