一:简介
在金融机构,监管行之间常用的一种数据交换形式是文件。 这种文件一般是文本文件,文件以换行符分割数据, 一行数据的字段可以由分隔符分割,也可以是固定长度字节数的字段。文件中除了业务数据也可以有文件头文件尾, 文件的文件头一般包含一些汇总信息如总笔数,总金额,或者字段的描述信息等。我们把这种文件叫做结构化的数据文件。
大文件处理,对CPU、IO、网络消耗非常大,在集群环境下通过分片处理可以有效的解决单机瓶颈。 Rdf-file组件(https://github.com/alipay/rdf-file/wiki) 设计用来在集群环境中处理这种结构化文件的通用组件。Rdf-File根据协议布局模板
和数据定义模板
,来进行文件的解析与生成。通过协议布局和数据定义模板,能够明确计算出头尾占用的行数,这样可以更精确的分离出head
,body
,tail
。
二:示例
2.1 简单读取
pom.xml
<dependency