JSON与AVRO数据文件的相互转换

最新推荐文章于 2024-06-17 09:38:33 发布

原创

最新推荐文章于 2024-06-17 09:38:33 发布 · 置顶 · 1.8w 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#json #avro #avsc #schema #数据格式

本文介绍了如何将嵌套的JSON数据转换为AVRO数据以及反之，以实现更高效的数据传输。转换过程涉及使用特定工具，准备JSON数据、AVRO schema以及执行转换操作。在转换时，需要注意JSON数组和对象的映射到AVRO schema的正确方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

嵌套的JSON数据与AVRO文件的相互转换

JSON是一种常用的数据交换格式，很多系统都会使用JSON作为数据接口返回的数据格式，然而，由于JSON数据中包含大量的字段名字，导致空间的严重浪费，尤其是数据文件较大的时候，而AVRO是一种更加紧凑的数据序列化系统，占用空间相对较少，更利于数据在网络当中的传输，本文介绍如何使用avro-tools工具对这两种文件格式进行转换。

准备转换工具

使用的是avro-tools-1.8.1.jar，可到官方网站下载。

准备嵌套的JSON数据

[
  {"product_seris":"S_01","product_name":"iphone7","prices":[{"model":"iphone7","price":5200},{"model":"iphone7 plus","price":5800}]},
  {"product_seris":"S_02","product_name":"iphone6","prices":[{"model":"iphone6","price":4600},{"