Spark的Dataframe（Dataset）转Json

最新推荐文章于 2025-06-26 17:13:26 发布

原创

最新推荐文章于 2025-06-26 17:13:26 发布 · 6.7k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#dataframe转json #spark对象转json #dataset转json

本文介绍了如何简便地将Spark的Dataframe和Dataset转换为Json字符串，避免了复杂的过程，如先转换为collect再逐字段处理。通过将DataFrame转换为包含Json字符串的列表，可以直接用于HTTP接口的数据传递，简化了数据转换操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark的Dataframe（Dataset）转Json字符串

Spark的Dataframe（Dataset）转Json,网上很多都说的太麻烦了，让你先转换成collect，然后按照不同的filed字段去转义。

完全不用那么麻烦

原理就是先把Dataset<row>就是Dataframe对象（带schema的数据类型）转换成一行一行的String类型数据

Dataset<String> stringDataset = Dataset<Row> rowDataset.toJSON();

这个时候调用stringDataset的show方法，你可以看到你的数据如下：

+-----------------------------------------------------------------+
|               value|
+--------------------+
|{"taskConfigId":"123", "xxx": 123, "date": "2018-11-28 00:12:21"}|
|{"taskConfigId":"321", "xxx": 123, "date": "2018-11-28 00:12:21"}|
|{"taskConfigId":"qwe", "xxx": 123, "date": "2018-11-28 00:12:21"}|
|{"taskConfigId":"34", "xxx": 123, "date": "2018-11-28 00:12:21"}|
|{"taskConfigId":"341", "xxx": 123, "date": "2018-11-28 00:12:21"}|
+------------------------------------------------------------------+

就相当于你的