在很多领域,数据的传输是基于 csv,并且,为了方便,属于同一张表的多个 csv 文件还是打包成 gz 文件进行传输。
当 gz 文件传输到下游时,需要将 gz 中的 csv 数据导入数据库,最直接的方法是:
- 在客户机解压 gz
- 编写 local data local infile 命令将解压后的文件按照通配符全部载入服务机上的数据库里
这种方法有一个弊端:解压 gz 文件,既耗费时间,也耗费存储空间。
有没有办法把 gz 文件直接导入到 OceanBase 中呢?我们有两种思路:
- 让 OceanBase 识别 gz 文件,支持类似下面的命令:
load data local infile '/home/xiaochu.yh/foo.gz' INTO table test.t1 fields terminated by