Flink cdc 读取 kafka json 数据入PG数据库

lg4546

于 2021-06-25 15:44:02 发布

阅读量1.2k

点赞数

分类专栏：大数据文章标签： flink kafka

本文链接：https://blog.youkuaiyun.com/lg4546/article/details/118221992

版权

大数据专栏收录该内容

45 篇文章 ¥9.90 ¥99.00

订阅专栏

本文介绍了如何使用Flink SQL解析复杂的JSON数据，并将其从Kafka流处理到PostgreSQL数据库。示例中展示了DDL定义，解析JSON的SQL操作，以及运行结果，强调了处理JSON数据时的注意事项，如Row和Array类型使用，字段顺序和类型匹配等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在日常的开发中,最常用的数据格式是 JSON ,并且有的时候 JSON 的格式是非常复杂的(嵌套的格式),那在 Flink SQL 中进行解析的时候也会相当麻烦一点,下面将会演示如何在 DDL 里面定义 Map、Array、Row 类型的数据,以及在 SQL 里面如何获里面的值

数据格式如下:
以下数据完全是自己造的,没有任何实际含义

{
 "funcName": "test",
 "data": {
  "snapshots": [{
   "content_type": "application/x-jpeg",
   "url": "https://blog.youkuaiyun.com/lg4546"
  }],
  "audio": [{
   "content_type": "audio/wav",
   "url": " https://bss.youkuaiyun.com/m/topic/"
  }]
 },
 "resultMap": {
  "result": {
   "cover": "/data/test/log.txt"
  },
  "isSuccess": true
 },
 "meta": {
  "video_type": "normal"
 },
 "type": 2,
 "timestamp": 1610549997263,
 &#

了解本专栏