使用impala-shell导入导出数据

最新推荐文章于 2024-01-04 14:16:41 发布

原创最新推荐文章于 2024-01-04 14:16:41 发布 · 6.1k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#impala #hadoop

大数据专栏收录该内容

18 篇文章

订阅专栏

本文介绍如何使用Impala进行数据的导出与导入操作，包括导出数据到CSV和Excel，以及通过Hadoop上传文件并创建临时表导入数据的具体步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

(tip:将select * from sq_dim_city，替换为需要导出的查询sql即可,分割符号可以自选)

参数说明：
　　• -q query （--query=query）从命令行执行查询，不进入impala-shell
　　• -d default_db （--database=default_db）指定数据库
　　• -B（--delimited）去格式化输出
　　• --output_delimiter=character 指定分隔符
　　• --print_header 打印列名
　　• -f query_file（--query_file=query_file）执行查询文件，以分号分隔
　　• -o filename （--output_file filename）结果输出到指定文件1、导出

1.1 导出结果到csv
impala-shell -q "select id,price,name,dtime from config.price_test limit 3" -B --output_delimiter="," --print_header -o /var/testimpalaout.csv

1.2 导出结果到excle
impala-shell -q "select id,price,name,dtime from config.price_test limit 3" -B --output_delimiter="\t" --print_header -o /var/testimpalaout.xlsx

2、导入
2.1 hadoop创建文件夹
hadoop fs -mkdir /tmp/dim_city

2.2 本地文件上传hadoop
hadoop fs -put /var/testimpalaout.csv /tmp/dim_city

2.3 创建临时表(无分区，普通文本表)
impala-shell ,进入impala-shell数据库，（分隔符，自定义）

CREATE TABLE config.dim_city_ls (
p_code VARCHAR(200),
p_name VARCHAR(200),
c_code VARCHAR(200),
c_name VARCHAR(200)
)
row format delimited fields terminated by ','
location '/tmp/dim_city';

2.4 导入分区表
INSERT INTO config.dim_city PARTITION(DAY = 20170701, MINUTE = cast('0000' as char(4)) )
SELECT
p_code,
p_name,
c_code,
c_name
FROM
config.dim_city_ls

2.5 删除临时表
drop table config.dim_city_ls;