记录structed streaming kafka endingOffsets 中的json string 格式代表的含义

最新推荐文章于 2022-10-12 22:42:41 发布

yueyinmian

最新推荐文章于 2022-10-12 22:42:41 发布

阅读量404

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据个人记录文章标签： scala spark streaming kafka 大数据

本文链接：https://blog.youkuaiyun.com/yueyinmian/article/details/105534337

大数据个人记录专栏收录该内容

4 篇文章

订阅专栏

本文介绍了一种从JSON字符串中读取并解析Kafka主题分区偏移量的方法，通过定义一个Scala函数，该函数能够将JSON字符串转换为Map[TopicPartition, Long]类型的数据结构，便于进一步处理和分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

源码：

/**
 * Read per-TopicPartition offsets from json string
 */
def partitionOffsets(str: String): Map[TopicPartition, Long] = {
  try {
    Serialization.read[Map[String, Map[Int, Long]]](str).flatMap { case (topic, partOffsets) =>
        partOffsets.map { case (part, offset) =>
            new TopicPartition(topic, part) -> offset
        }
    }.toMap
  } catch {
    case NonFatal(x) =>
      throw new IllegalArgumentException(
        s"""Expected e.g. {"topicA":{"0":23,"1":-1},"topicB":{"0":-2}}, got $str""")
  }
}