HBASE通过bulkload方式将文件导入到HBASE数据库

最新推荐文章于 2024-08-01 04:39:02 发布

wanghenghengheng

最新推荐文章于 2024-08-01 04:39:02 发布

阅读量545

点赞数

CC 4.0 BY-SA版权

文章标签：大数据笔记

本文链接：https://blog.youkuaiyun.com/wanghenghengheng/article/details/88885435

HBASE通过bulkload方式将文件导入到HBASE数据库
//---------------------第一步把文件转换为hfile 本例是把importtsv文件下的数据文件输出到hfileoutput转换成hfile----------------------------
export HBASE_HOME=/opt/modules/hbase-1.3.1
export HADOOP_HOME=/opt/modules/hadoop-2.7.7
HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`:${HBASE_HOME}/conf \
        ${HADOOP_HOME}/bin/yarn jar \
${HBASE_HOME}/lib/hbase-server-1.3.1.jar importtsv \
-Dimporttsv.columns=HBASE_ROW_KEY,\
info:name,info:age,info:sex,info:address,info:phone \
-Dimporttsv.bulk.output=hdfs://master:8020/user/beifeng/hbase/hfileoutput \
student2 \
hdfs://master:8020/user/beifeng/hbase/importtsv

//------------第二步通过bulkload方式把hfile转换到hbase表中------------------
export HBASE_HOME=/opt/modules/hbase-1.3.1
export HADOOP_HOME=/opt/modules/hadoop-2.7.7
HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`:${HBASE_HOME}/conf \
        ${HADOOP_HOME}/bin/yarn jar \
${HBASE_HOME}/lib/hbase-server-1.3.1.jar \
completebulkload \
hdfs://master:8020/user/beifeng/hbase/hfileoutput \
student2
//通过BULKLOAD方式导入数据库

//-----------文件和内容为
student.tsv
10001	zhangsan	35	male	beijing	0109876543
10002	lisi	32	male	shanghia	0109876563
10003	zhaoliu	35	female	hangzhou	01098346543
10004	qianqi	35	male	shenzhen	01098732543