windows数据导入到hive表

最新推荐文章于 2022-08-23 11:08:35 发布

原创

最新推荐文章于 2022-08-23 11:08:35 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive #linux

本文介绍了如何将Windows系统的.zip数据导入到Hive表中。首先在Linux环境中创建数据库和外部表，然后通过Winscp将.zip文件复制并解压到Linux本地，最后使用LOAD DATA命令将数据加载到Hive表。同时提到了在执行Hive SQL脚本时避免直接在Hadoop环境下运行以防止异常，并分享了相关资源和操作技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求说明：

将windows系统下数据存入hive表中
windows下数据源是压缩格式,即.zip
本文中本地环境是指linux环境

实例：

逻辑：
- 建表（根据数据源或需求建普通表或分区表）—>加载数据—>将windows中.zip数据复制到本地—>本地解压zip数据—>执行hive命令
建数据库。 hive创建数据库testdb
```
CREATE DATABASE IF NOT EXISTS testdb;
```

建表。hive创建外部表test

CREATE EXTERNAL TABLE IF NOT EXISTS test
(
id STRING,tit STRING,ts  STRING,url STRING
)
PARTITIONED BY (datelabel STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
stored as textfile
location '/test/data';

复制数据源到本地。将windows数据移动到本地文件夹下（linux环境下）
- 将windows下data.zip复制到linux下。由于安装winscp软件，直接在winscp软件中拖拽即可实现复制，也可使用命令行。
- 移动到本地/home/myhadoop/下，先解压data.zip到/home/myhadoop/data/testdata目录下。
  - 解压命令：
```
unzip /home/myhadoop/data.zip //解压zip到当前目录
unzip /home/myhadoop/data.zip -d /
```