（转）PIG 的几种 storage

最新推荐文章于 2024-12-10 20:54:52 发布

原创最新推荐文章于 2024-12-10 20:54:52 发布 · 495 阅读

CC 4.0 BY-SA版权

文章标签：

91 篇文章

订阅专栏

本文介绍了Apache PIG支持的各种存储方式，包括默认的PigStorage、BinStorage、JsonLoader/JsonStorage等。此外还提到了如何自定义存储实现。

PIG 现在除了默认的 PigStorage（对应使用制定分隔符分割的文本格式，默认为 tab）以外还提供了

BinStorage，默认情况下 map/reduce job 的存储方式，用户也可以使用（可以 load 也可以 store），builtin；
JsonLoader/JsonStorage，前者需要指定 schema，builtin
TextLoader 用来读入文本，每行一个 chararray，builtin
AvroStorage（org.apache.pig.piggybank.storage.avro ）用来读取和存储 avro 格式的文件，读取也需要 schema，或者指定或者有个 schema 文件
CVSLoader（org.apache.pig.piggybank.storage）用来载入 CVS 文件
DBStorage（org.apache.pig.piggybank.storage）用于写入 DB，需要指定数据库驱动和使用的 SQL 语句
HadoopJobHistoryLoader（同上）呃，这也行…
IndexedStorage（同上），支持 per-record seek 的存储
MultiStorage（同上），产生多个 output directory，根据用户指定的规则进行拆分
RegExLoader 与 MyRegExLoader（同上），根据 RE 对 log 进行分析
SequenceFileLoader（同上），用来读取 sequence file
XMLLoader（同上），用来 load XML 文件的内容，需要提供 schema。
HBaseStorage（org.apache.pig.backend.hadoop.hbase）用来从 HBase 里面读入和写入数据
HDataStorage（org.apache.pig.backend.hadoop.datastorage ）看不出来干啥的…
TableLoader/TableStorer（org.apache.hadoop.zebra.pig）用来处理 zebra 格式的数据，好像现在没啥人用了？

如果希望自己提供 storage 需要继承 LoadFunc/StoreFunc（其实都会构造 Reader/Writer 来完成实际的工作）和实现StoreFuncInterface。

转自：http://remonstrate.wordpress.com/2012/07/02/pig-%E7%9A%84%E5%87%A0%E7%A7%8D-storage/