flink入门之使用JSONKeyValueDeserializationSchema反序列kafka消息

最新推荐文章于 2025-11-27 20:40:46 发布

原创

最新推荐文章于 2025-11-27 20:40:46 发布 · 5k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #flink #大数据

本文介绍如何使用Flink的JSONKeyValueDeserializationSchema优化Kafka数据反序列化过程，避免手动解析JSON结构，提高处理效率。通过实例演示如何轻松获取JSON字段，即使面对不完整数据也能优雅处理。

背景需求
在日常生产中，我们大多数时候都会用到flink的kafka connector，在使用过程中，大多数的程序员都会使用new SimpleStringSchema()来反序列化Kafka中的数据，然后使用alibaba提供的fastJson来解析数据
例如：

  val jsonObject = JSON.parseObject(jsonStr)
  val eventId = JSON.parseObject(jsonObject.getString("eventDetail")).getString("eventId")
  val uuid_geek = JSON.parseObject(jsonObject.getString("eventDetail")).getString("uuid"）
  val poiIdArray = JSON.parseObject(jsonObject.getString("eventDetail")).getJSONArray("poiId")