HBASE bulkload 加载TSV数据

最新推荐文章于 2024-11-10 19:32:15 发布

原创最新推荐文章于 2024-11-10 19:32:15 发布 · 212 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

HBase 专栏收录该内容

4 篇文章

订阅专栏

本文介绍如何使用HBase提供的工具生成HFile文件，并将这些文件加载到HBase表中。具体步骤包括通过ImportTsv工具从输入目录创建HFile文件，然后使用LoadIncrementalHFiles工具将HFile文件导入指定的HBase表。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

生成HFile文件

HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`:${HBASE_HOME}/conf \
${HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv \
-Dimporttsv.columns=HBASE_ROW_KEY,\
info:name,info:deptname,info:leader,info:joindate,info:sal,info:exp,info:deptno \
-Dimporttsv.bulk.output=/user/ehp/hbase/importtsv/emp/hfile \
emp \
/user/ehp/hbase/importtsv/emp/input

load HFile文件到HBase表中

HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`:${HBASE_HOME}/conf \
${HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles \
hdfs://hadoop-ehp.hyman.com/user/ehp/hbase/importtsv/emp/hfile \
emp