Structured Streaming实战读取json数据

隔壁的橘猫

于 2020-04-19 09:57:20 发布

阅读量1.3k

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/one_only_blue/article/details/105610484

本文介绍了如何在Structured Streaming中实战处理JSON数据，通过具体的代码示例展示了如何读取和处理包含多个用户信息的JSON记录，包括用户的姓名、年龄和爱好。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一 .
准备数据
在这里插入图片描述
{“name”:“json”,“age”:23,“hobby”:“running”}
{“name”:“charles”,“age”:32,“hobby”:“basketball”}
{“name”:“tom”,“age”:28,“hobby”:“football”}
{“name”:“lili”,“age”:24,“hobby”:“running”}
{“name”:“bob”,“age”:20,“hobby”:“swimming”}

二.代码

import org.apache.spark.SparkContext
import org.apache.spark.sql.streaming.Trigger
import org.apache.spark.sql.{
   DataFrame, Dataset, Row, SparkSession}
import org.apache.spark.sql.types.StructType

object readJs