Scala spark dataframe pivot postgresql数据库读取数据创建透视表时丢失数据问题解决方法

关注

原创最新推荐文章于 2026-07-18 14:20:34 发布 329 阅读 AI 写同款· GEO 优化 ›

Spark Streaming 容错改进与零数据丢失实时流处理系统必须可以 7*24 小时工作，因此它需要具备从各种系统故障中恢复的能力。最开始，Spark Streaming 支持从 Driver 和 Worker 故障中恢复。然而，从有些数据源导入数据时可能存在故障恢复以后丢失数据的情况。在 Spark 1.2 版本中，我们已经在 Spark Streaming 中对预写日志作了初步支持，改进了恢复机制，使得更多数据源零数据丢失有了可靠的保证。本文将详细地描述这个特性的工作机制，以及开发者如何在 Spark Streaming 应用中使用这个机制。阅读详情

我用Scala写spark从postgresql数据库读出来的数据是这样的

然后我想建立一个透视表，以userid和modelid进行分组，分别统计buy和like的cishu，于是我这样写

val one: DataFrame = xingwei.groupBy("userid", "modelid").pivot("xingwei",Seq("buy","like")).sum("cishu")
one.show()

然后呢，数据丢失，就是找不到,我怎么也理解不了，网上也没有说，我不断查找不断试验，最终发现了一个大坑，Scala spark读取postgresql数据的char类型时会把空格也读进来，所以就找不到“buy”和“like”，找到的是“buy ”和“like ”，所以想建立透视表，我们需要把空格也加上，然后再换dataframe表头才行

val one: DataFrame = xingwei.groupBy("userid", "modelid").pivot("xingwei",Seq("buy  ","like ")).sum("cishu")
one.show()
val two: DataFrame = one.withColumnRenamed("buy  ", "buy").withColumnRenamed("like ", "like")
two.show()