
pig
文章平均质量分 73
iteye_20817
这个作者很懒,什么都没留下…
展开
-
理解Pig中flatten关键字
flatten在英文的意思弄平整的意思,这个操作符在不同的场景有不同的功能。 1. flatten tuple flatten会把tuple内容打开,下面举例: -- A结构:(a, (b, c)) B = foreach A GENERATE $0, flatten($1) B返回结果(a,b,c) 2. flatten bag flatten会把bag内容打开,每个t...原创 2013-10-25 15:35:07 · 866 阅读 · 0 评论 -
hadoop pig tips
1. pig命令行下,可以使用hadoop fs命令 举例 grunt> fs -ls /user/hdfs ;原创 2013-04-03 22:09:16 · 100 阅读 · 0 评论 -
pig输出gzip文件
方法一: grunt> set output.compression.enabled true;grunt> set output.compression.codec org.apache.hadoop.io.compress.GzipCodec; 方法二: grunt> STORE rows INTO '/user/hdfs/xxx.gz'; --en...原创 2013-04-03 22:14:17 · 252 阅读 · 0 评论