phoenix 利用CsvBulkLoadTool 批量带入数据并自动创建索引

最新推荐文章于 2024-06-08 00:48:52 发布

weixin_30367945

最新推荐文章于 2024-06-08 00:48:52 发布

阅读量582

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/zhanggl/p/5191912.html

本文介绍如何使用Apache Phoenix的CsvBulkLoadTool工具从CSV文件批量导入数据到HBase表中，并提供具体的命令行参数说明及常见错误处理办法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需要先创建表：

CREATE TABLE IF NOT EXISTS population (
  state CHAR(2) NOT NULL,  city VARCHAR NOT NULL,  population BIGINT 
 CONSTRAINT my_pk PRIMARY KEY (state, city));

在phoenix 目录下执行

hadoop jar /home/phoenix-4.6.0-HBase-1.0-bin/phoenix-4.6.0-HBase-1.0-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool -t POPULATION -i /datas/us_population.csv

-t ：tableName

-i: input file 文件必须在hdfs文件上。

后查询表数据是空。

问题： ERROR mapreduce.CsvBulkLoadTool: Error Wrong FS: file:/home/hadoop/tmp/partitions_101bd67a-ec2c-4808-bc9f-bf4cd6ea74b9, expected: hdfs://node11:9000 occurred submitting CSVBulkLoad

参数意义：

-a,--array-delimiter <arg> Array element delimiter (optional)
-c,--import-columns <arg> Comma-separated list of columns to be
imported
-d,--delimiter <arg> Input delimiter, defaults to comma
-e,--escape <arg> Supply a custom escape character, default is
a backslash
-g,--ignore-errors Ignore input errors
-h,--help Show this help and quit
-i,--input <arg> Input CSV path (mandatory)
-it,--index-table <arg> Phoenix index table name when just loading
this particualar index table
-o,--output <arg> Output path for temporary HFiles (optional)
-q,--quote <arg> Supply a custom phrase delimiter, defaults
to double quote character
-s,--schema <arg> Phoenix schema name (optional)
-t,--table <arg> Phoenix table name (mandatory)
-z,--zookeeper <arg> Supply zookeeper connection details
(optional)