Structured Streaming实战读取json数据

最新推荐文章于 2022-09-18 18:20:05 发布

原创

最新推荐文章于 2022-09-18 18:20:05 发布 · 1.4k 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了如何在Structured Streaming中实战处理JSON数据，通过具体的代码示例展示了如何读取和处理包含多个用户信息的JSON记录，包括用户的姓名、年龄和爱好。

一 .
准备数据
在这里插入图片描述
{“name”:“json”,“age”:23,“hobby”:“running”}
{“name”:“charles”,“age”:32,“hobby”:“basketball”}
{“name”:“tom”,“age”:28,“hobby”:“football”}
{“name”:“lili”,“age”:24,“hobby”:“running”}
{“name”:“bob”,“age”:20,“hobby”:“swimming”}

二.代码

import org.apache.spark.SparkContext
import org.apache.spark.sql.streaming.Trigger
import org.apache.spark.sql.{
   
   DataFrame, Dataset, Row, SparkSession}
import org.apache.spark.sql.types.Struc