将hdfs文件导入hive表

最新推荐文章于 2024-08-01 04:33:18 发布

原创

最新推荐文章于 2024-08-01 04:33:18 发布 · 2.3k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #操作系统 #java

本文介绍了如何将HDFS上经过lzo压缩的seqFile导入到Hive外部分区表。首先创建匹配seqFile格式的Hive表，然后使用ALTER TABLE命令添加分区并指定HDFS文件路径。加载seqFile时，Hive默认忽略key，根据指定分隔符解析value。若需要自定义解析方式，可配置mapred.mapper.class等参数。

hive sql对hdfs的操作最终都会转化为mr任务，下面介绍如何将已经存在的hdfs文件“导入”hive表，很简单

条件及要求：

1）hdfs文件为经过lzo压缩的seqFile

2）seqFile数据样例

3）hive表是外在分区表

步骤1. 建立hive表

CREATE EXTERNAL TABLE biz_eagleeye (traceId STRING, time STRING, rpcId STRING,
appName STRING, queryKey STRING, msg STRING, kvMap STRING)
PARTITIONED BY(pt STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\|'
STORED AS SEQUENCEFILE;

其中EXTERNAL和PARTITIONED关键字指明表为外表和分区表，STORED AS SEQUENCEFILE是专门指定加载seqFile数据源的，如果是普通文本可换成TEXTFILE

步骤2.从