实践+总结:Apache avro根据*.avsc文件提取对象的四种方式

最新推荐文章于 2025-11-18 13:17:35 发布
原创 最新推荐文章于 2025-11-18 13:17:35 发布 · 1.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了四种在Flink中解析Kafka Avro序列化数据的方法：使用avro-tools脚本命令、通过Maven配置、代码方式及自定义代码方法。重点强调了avro版本与avro-tools版本的一致性，以及.avsc文件路径配置的重要性。

四种获得对象类型的方式

1.通过脚本命令 avro-tools

这几天在弄一件事情，用flink在kafka中读取数据，kafka中的数据是avro序列化的。
按照正常的思维就是需要数据解析，得到文件里面数据结构的bean的对象，但对于复杂结构的数据通过手动去编写bean对象是很麻烦的。
刚好Apache avro提供了一种工具，如下图
但我这有点问题就是 avro版本要和avro-tools版本一定要一致，否则解析出来的bean会报错！！！
在这里插入图片描述
把上图中的两个jar包放到java目录下，就可以写脚本了

 java -jar avro-tools-1.7.7.jar compile schema user.avsc java.

参考文章：大致过程参考

另一种方式参考文章：

最低0.47元/天 解锁文章
【Avro】两种根据avsc文件生成avro序列化的实体类-maven和avro-tool
九师兄
08-19 1084
1.maven方式 项目结构如下 maven如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http:
Hive官方使用手册——Avro Files
三米学习笔记杂货铺
03-23 4397
本文为自己翻译的译文，原文地址：https://cwiki.apache.org/confluence/display/Hive/AvroSerDeHive官方使用手册——Avro FilesAvailability最早支持AvroSerDe的版本The AvroSerde is available in Hive 0.9.1 and greater.概述 –  Hive中使用AvroAvroSe...
Avsc 教程：快速入门与核心概念
gitblog_00507的博客
08-10 566
本教程将引导您了解 Avsc，这是一个纯 JavaScript 实现的 Apache Avro 规范库，用于高效的数据序列化和反序列化。 ## 1. 项目目录结构及介绍 在克隆或下载 `https://github.com/mtth/avsc.git` 之后，典型的项目目录结构可能如下所示： ``` avsc/ ├── src/ # 存放源代码 │ └── i...
avsc:适用于JavaScript的Avro
04-29
Avsc 纯JavaScript实现。 特征 序列化！ 通常比使用小得多编码的JSON快。 所有Avro的优点以及更多：，和。 支持。 不受限制的。 安装 $ npm install avsc avsc是与所有版本兼容自0.11通过与主要的浏览器 。 为了方便起见，您还可以在发行版中找到已编译的发行版（但请托管您自己的副本）。 文献资料 家 原料药 快速开始 进阶用法 基准测试 例子 在node.js模块内部，或使用browserify： const avro = require ( 'avsc' ) ; 对已知模式中的值进行编码和解码： const type = avro . Type . forSchema ( { type : 'record' , fields : [ { name : 'kind' , type : { type : 'enum
avro序列化和反序列化——利用avsc文件方式
archer的技术故事
07-08 6210
主要参考：https://blog.csdn.net/u013054888/article/details/64444908上一篇中（https://blog.csdn.net/wild46cat/article/details/80963111），我们在构建序列化和反序列化的时候，我们必须有avro编译出来的类文件，其实我们只要avsc的schema文件就可以进行序列化和反序列化。序列化：pac...
使用Avro.tools实现将AVSC文件转化成java类
m0_46583157的博客
08-17 1541
使用Avro.tools实现将AVSC文件转化成java类 项目中我们时常会遇到想将avsc文件直接转换为java类进行开发，那么今天阿贵就推荐一下如何使用 avro.tools将avsc文件转换成java类的方法！ 首先你下载一款序列化转换工具，这是链接： 转换工具下载点击即可跳转 2：我们要下载的是1.7.7.jar的版本： 3：然后我们将下载好的jar包和avsc文件一起放在同一个目录。最好放在除了系统盘以外的自定义文件中： avsc文件就像这样子，一般是客户给你或者是你自己定义的，用来序列化，一般
6、Hadoop存储：文件系统、接口、格式与Avro应用
最新发布
herb5的博客
11-18 11
本文深入探讨了Hadoop存储体系的核心组件，包括Hadoop抽象文件系统及其多种实现（如HDFS、S3）、支持的交互接口（Java API、Libhdfs、Thrift等），以及数据序列化机制。详细介绍了Writable接口、各类文件格式（文本、SequenceFile、RCFile、ORC、Parquet和Avro）的特点与适用场景，并通过代码示例展示了Avro在Java中的实际应用。文章还对比了不同格式的可分割性、压缩支持和使用场景，提供了选择文件格式的关键因素和数据处理的最佳实践，帮助用户优化大数据
avro4k：Kotlin数据类的Avro序列化支持
开发者可以通过导入此项目深入理解其实现机制，比如如何利用 `kotlinx.serialization` 的插件体系生成序列化器，如何通过反射或编译期注解提取数据类字段并构造 Avro Schema，以及如何处理复杂类型（如嵌套对象、...
高级MapReduce技术：Avro的应用与实践
### 高级MapReduce技术：Avro的应用与实践 #### 1. 多作业运行与图处理思考 在MapReduce编程中，我们首次明确将一个MapReduce作业的输出作为另一个作业的输入。多数情况下，这些作业是不同的，但反复应用某个算法...
关于通过Asvc生成测试数据(Avro/Parquet)的工具类 小结
BAStriver的博客
02-03 1711
目录 1. Avsc和Avro的关系 2. Avsc生成Java类 3. 根据Java类生成Avro格式的测试数据 3.1 Avsc的schema types 3.2 Complex type的使用 3.3 生成测试数据 1. Avsc和Avro的关系 AVSCfile is anApache AvroSchema. Avro is a remote procedure call and data serialization framework developed within...
Avro Schema 格式说明+示例
03-24
例如：Test.avsc文件，利用avro的插件可生成对应的Test 类，这个类可以利用avro的API序列化和反序列化
Avro
WangXiaoYuuuuu
12-09 537
序列化/反序列化机制 将对象转化为字节来进行存储称之为序列化；将字节还原会对象的过程称之为反序列化 java中的序列化反序列化机制：需要利用原生流来实现，Serializable(该对象可以进行序列化/反序列化)，static/transient(被修饰之后不能序列化/反序列化)，serialVersionUID(版本号,如果版本号对上了再进行序列化/反序列,如果对不上,不进行序列化/反序列化...
Avro根据avsc文件生成java类
四国棋客
10-26 4435
背景 Avro可以提供跨语言的数据交互，下面记录如何通过Avro生成java类 步骤 1、定义avsc文件，里面包含类的一些信息，比如包名、类名、属性列表等，示例如下 { "namespace": "szc.zone", "type": "record", "name": "Person", "fields": [ { ...
Hadoop之Avro介绍
weixin_34279246的博客
01-09 352
原文地址： itweknow.cn/detail?id=7… ，欢迎大家访问。 什么是Avro Avro是一个独立于编程语言的数据序列化系统。这个项目由Ddoug Cutting（Hadoop之父）创建，目标是解决Hadoop中Writable类型缺乏语言的可移植性的不足。Avro模式通常采用JSON来写，数据则采用二进制格式编码，也可采用基于JSON的数据编码方式。 Avro的数据类型和模式...
Hadoop 之 Avro
乄浅醉的专栏
06-07 5222
从结构上看，Avro和SequenceFile的很相似。schema被序列成Header的一部分，可以是反序列化变的简单。每个block都包含一系列Avro记录，默认情况下，大小为16KB。Avro数据文件支持压缩，并且可切分。序列化与反序列化使用程序从数据流中读/写 Avro数据，首先需要一个Avro模式文件。Avro 模式文件（.avsc）：{ "namespace": "com.had
IDEA avsc文件生成实体类
zzw_17600691357的博客
09-04 1313
avsc文件生成实体类 pom.xml 加入 配置 <project> <dependencies> <!-- avsc文件 生成实体类依赖 --> <dependency> <groupId>org.apache.avro</groupId> <artifactId>avro</artifactId>
对象序列化 avro的使用
wudonglianga的专栏
01-12 834
1. 官网 https://avro.apache.org/ 2.Avro简介 Apache Avro（以下简称 Avro）是一个数据序列化系统，是一种与编程语言无关的序列化格式，是提供一种共享数据文件的方式。Avro是Hadoop中的一个子项目，Avro是一个基于二进制数据传输高性能的中间件。Avro可以做到将数据进行序列化，适用于远程或本地大批量数据交互。在传输的过程中Avro对数据二进制序列化后节约数据存储空间和网络传输带宽。 序列化就是将对象转换成二进制流，相应的反序列化就是将二进制流再转换成对应的
探索高效数据序列化：Avsc
gitblog_00079的博客
05-14 395
探索高效数据序列化：Avsc avscAvro for JavaScript :zap:项目地址:https://gitcode.com/gh_mirrors/avs/avsc 在处理大量数据时，高效的序列化和反序列化工具是关键。Avsc是一个纯JavaScript实现的Apache Avro规范库，它提供了快速、紧凑的数据编码和解码功能，让你的数据传输更有效率。让我们深入了解Avsc并看看它如...
Avsc 项目使用教程
gitblog_00489的博客
08-10 429
Avsc 是一个纯 JavaScript 实现的 Apache Avro 规范库。它提供了快速、紧凑的数据编码和解码功能，使得数据传输更有效率。Avro 是一种远程过程调用和数据序列化框架，广泛应用于大数据处理和分布式系统中。 ## 项目快速启动 ### 安装 首先，你需要通过 npm 安装 avsc 库： ```bash npm install avsc ``` ### 基本使用 以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值