本文介绍了Apache Avro，一种高效的数据序列化系统，用于数据传输和存储。Avro的特点包括丰富的数据结构、紧凑的二进制格式和模式演化能力。Avro使用JSON定义模式，允许在不修改旧应用程序的情况下添加新字段。Confluent Schema Registry是一个管理Kafka数据模式的工具，支持模式演进，确保生产者和消费者之间的兼容性。文章还详细阐述了Avro的数据类型、Confluent Schema Registry的部署和配置以及与kafka-ui的整合。
Avro概述
简介
Apache Avro（以下简称 Avro，读音：阿夫罗）是一个数据序列化系统，是一种与编程语言无关的序列化格式，是提供一种共享数据文件的方式。Avro是Hadoop中的一个子项目，Avro是一个基于二进制数据传输高性能的中间件。Avro可以做到将数据进行序列化，适用于远程或本地大批量数据交互。在传输的过程中Avro对数据二进制序列化后节约数据存储空间和网络传输带宽。
序列化就是将对象转换成二进制流，相应的反序列化就是将二进制流再转换成对应的对象。因此，Avro就是用来在传输数据之前，将对象转换成二进制流，然后此二进制流达到目标地址后，Avro再将二进制流转换成对象。
特点
-
丰富的数据结构
-
一个紧凑的，快速的，二进制的数据格式
-
一个容器文件，来存储持久化数据
-
远程过程调用（RPC）
-
简单的动态语言集成。
-
Avro模式是使用JSON定义的 。这有助于以已经具有JSON库的语言实现。
JSON是一种轻量级的数据传输格式，对于大数据集，JSON数据会显示力不从心ÿ
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
