
Spark
文章平均质量分 90
date-date
这个作者很懒,什么都没留下…
展开
-
spark structuredstreaming 多流 写入kafka
需求:存在一张离线规则表A,A 中存在两列 gid(规则id),gsql(规则sql) ,一份实时数据,搜索出实时数据中符合规则的数据A 中数据格式如下:gid gsql 202 column0=0.0 and column6>0 201 column0=0.0 and column7>10.0 实时数据格式如下timestamp tagvalue 2021-03-18 20:11:53 0.0,0.0,0....原创 2021-03-18 21:03:27 · 882 阅读 · 0 评论 -
SparkStreaming与kafka入门学习
本博客为本人学习备忘之用,如有错误,欢迎指正。谢谢!SparkStreaming官网入门:SparkStreaming官网基础概念入门上SparkStreaming官网基础概念入门下SparkStreming与kafka官网要点SparkStreaming 输出众多小文件解决方案 SparkStreaming涉及术语:DStream,batch data(批数据),ba...转载 2018-12-18 16:21:18 · 180 阅读 · 0 评论