Spark read.json 用法

最新推荐文章于 2025-03-30 12:21:23 发布

weixin_43847900

最新推荐文章于 2025-03-30 12:21:23 发布

阅读量1.5k

点赞数

分类专栏：大数据文章标签： spark

本文链接：https://blog.youkuaiyun.com/weixin_43847900/article/details/117248816

版权

大数据专栏收录该内容

16 篇文章

订阅专栏

本文介绍如何使用 Apache Spark 处理 JSON 数据格式，包括创建 Dataset、读取 JSON 数据并展示其内容，同时展示了如何获取 JSON 数据的 Schema 结构。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

// An highlighted block
import com.alibaba.fastjson.{JSON, JSONObject}
import org.apache.spark.SparkConf
import scala.collection.JavaConversions._
import org.apache.spark.sql.{Dataset, Row, SparkSession}
import scala.collection.Seq
import org.apache.spark.sql.functions.{col, from_json}
import org.apache.spark.sql.types.StructType
val ssc=SparkSession.builder().appName("testspark").master("local[2]").getOrCreate();
import ssc.implicits._
val otherPeopleDataset = ssc.createDataset(
      """{"name":"Yin","address":{"city":"Columbus","state":"Ohio"}}""" :: Nil)
val otherPeople = ssc.read.json(otherPeopleDataset)
    otherPeople.show()


val schema = ssc.read.json(otherPeopleDataset).schema
println(schema)