sparkStream
文章平均质量分 75
习惯de味道
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
SparkStreaming的窗口
目录1.window(windowLength, slideInterval)2.countByWindow(windowLength,slideInterval)3.countByValueAndWindow4.reduceByWindow(func, windowLength,slideInterval) 窗口函数,就是在DStream流上,以一个可配置的长度为窗口,以一个可配置的速率向前移动窗口,根据窗口函数的具体内容,分别对当前窗口中的这一波数据采取某个对应的操作算子。 需要注意的是窗口长度,和窗原创 2021-01-05 15:19:12 · 562 阅读 · 0 评论 -
Spark Streaming几种数据采集方式
目录一、添加依赖二、从端口采集三、从文件采集四、从kafka中拉取 一、添加依赖 创建maven项目添加依赖包 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>2.0.0</version> </dependency> &l原创 2020-12-21 18:48:14 · 585 阅读 · 0 评论
分享