zsyoung的博客

Spark如何将DataFrame、DataSet、Row转换为Json字符串？最近遇到一个业务需求，需要将DataFrame中的每一行数据转换为Json字符串并存入mysql库。话不多说，直接上代码：package core.testimport org.apache.spark.sql.{DataFrame, Row, SparkSession}import scala.util.parsing.json.JSONObjectobject DFTest { def main(ar

Task not serializable的原因及解决方法原因及解决方法：项目场景：问题描述：报错内容报错代码原因分析：解决方案：原因及解决方法：这是一个比较常见的问题，flink、spark，都有可能遇到类似问题。由于两者都是分布式计算引擎，都不能在算子中传入未经序列化的数据。所以此类问题：原因：基本上都是因为在算子中传入了未经序列化的数据。解决方法：就是找到那个未经序列化的数据，然后在算子前提前定义或者序列化。项目场景：我需要将一个util.HashMap[Integer, DataS

scala-JavaConverters和JavaConversions的区别JavaConversionsJavaConverters引用JavaConversionsJavaConversions提供了一系列隐式方法，这些方法可以在Java集合和最接近的相应Scala集合之间进行转换，反之亦然。这是通过创建包装器来完成转换的，包装器实现Scala接口并将调用转发到底层的Java集合，或...

Scala-scalaMap转JSON字符串和javaMap