qq_40202995的博客

直接上代码例子：词频统计 import com.bcht.xl.common.{ConfigurationManager, KafkaMysqlmanage} import com.bcht.xl.constant.Constants import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.SparkConf import org.apache.spark.streaming.dstrea

sparksql和sparkcore/spark streaming/Structured streaming 的选用总结 一句话概括： 离线可以用：sparkcore、sparksql 实时可以用：sparksql、spark streaming 实时涉及到窗口统计：spark streaming Structured streaming 其实，感觉Structured streaming就是在sparksql里面多加了窗口函数，比如sparksql通过kafka获取数据，sparksql和Struct

Structured streaming 概念介绍 源源不断的数据Data stream 经过逻辑处理，增加到一张非常大的表里（内存中维护了一张非常大的结果表），每一批数据类似于表里面的一行，不断地增加和更新，然后把结果表再sink到外部，如mysql等。 * *概念说完了，下面我们来干货： ** 写一个从kafka读取数据，然后分组统计，sink到mysql的例子。 准备：kafka的消息结构：{“clsd”: “200”,“hpzl”: “07”,“jgsj”: “2020-07-09 23:26:2