
大数据处理
打磨时光
我是打磨匠,关注软件开发,打磨产品,服务人类。
展开
-
avro 序列化框架
前言Avro 是 Hadoop 的一个子项目,是Hadoop的创始人Doug Cutting(也是Lucene,Nutch等项目的创始人,膜拜)牵头开发。Avro是一个数据序列化系统,设计用于支持大批量数据交换的应用。它的主要特点有:支持二进制序列化方式,可以便捷,快速地处理大量数据;动态语言友好,Avro提供的机制使动态语言可以方便地处理Avro数据。其他的序列化系统:Google的...原创 2019-06-26 21:59:47 · 1002 阅读 · 0 评论 -
avro 数据结构
Avro Schema格式是JSON,所以编写起来非常简单,只需要了解Avro的规范即可,接下来简单介绍一些Avro的数据结构。Primitive Types(原生类型):null,boolean,int,long,float,double,bytes,string复合类型:包括6种 record,enum,array,map,union,fixed1. record这个和java中的“c...转载 2019-06-26 22:48:01 · 1361 阅读 · 0 评论