Apche pig 数据导入hbase方法

最新推荐文章于 2022-10-27 16:54:57 发布

转载最新推荐文章于 2022-10-27 16:54:57 发布 · 469 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/guoenzhou/blog/390554

文章标签：

#大数据 #shell #python

本文详细介绍了如何利用Pig将数据导入或加载到HBase中，包括加载数据集、配置伪分布式环境及正式环境下的注意事项，旨在提高大数据处理效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

1.pig将数据导入或加载到hbase使用HBaseStorage UDF函数,地址： http://pig.apache.org/docs/r0.11.0/func.html#HBaseStorage

在shell中案例：

pig -Dpig.additional.jars=/home/pps_recommend/pig-0.11.0/lib/protobuf-java-2.4.0a.jar -x $varPigMode << EOF
recommend_data = LOAD '$recommend_output' as(id:chararray,items:chararray);
STORE recommend_data INTO 'hbase://short_video_recommend' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('info:items');
EOF

（提示：EOF是将其他应用程序在shell中输出，切记:特别在shell中有if判断语句 EOF要顶格写)

2. STORE [加载pig数据集别名] INTO 'hbase://[HBASE表名]' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('[HBASE列簇]:PIG字段名');

3.注意：

1.在伪分布式下启动，在zookeeper,hbase正常启动情况下可以导入，

2.正式环境下配置：

2.1在 $PIG_HOME/conf/pig.properties加入:

# -------------------------------------------------------------------------------------------------------------

#pig.load.default.statements=

hbase.zookeeper.quorum=10.11.8.161,10.11.8.162,10.11.8.163,10.11.8.164,10.11.8.165,10.11.8.166,10.11.8.167

hbase.master.info.bindAddress=10.11.5.222

hbase.master.port=60000

转载于:https://my.oschina.net/guoenzhou/blog/390554