hive数据同步（sqoop :Mysql ==>Hive,hive put 文件到hive)

最新推荐文章于 2024-05-25 16:56:26 发布

原创

最新推荐文章于 2024-05-25 16:56:26 发布 · 1.4k 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了如何使用Sqoop将MySQL数据同步到Hive表，包括创建匹配的Hive表结构和设置字段分隔符。此外，还讲解了通过Hive的put命令直接上传文件到Hive进行数据同步的过程。

一、Sqoop同步mysql数据到hive：

假设我们在Hive里新建了一张测试表info_test，该表对应mysql 数据库中info_test:

 CREATE TABLE info_test(id BIGINT,uid INT, name STRING, tel STRING, )
    row format delimited 
    fields terminated by '~' ;

我们以‘~’分割字符，同时，注意，两张表的字段以及顺序必须一致。

接着，开始利用sqoop同步数据：

sqoop import --connect jdbc:mysql://你的mysql数据库地址/数据库表名（如info_test）?zeroDateTimeBehavior=convertToNull --username (账户) --password （密码） --table mysql数据库表名（如info_test）                --hive-table db名+表名（如info.info_test ）              --hive-import --delete-target-dir -m 1  --hive-overwrite --fields-terminated-by "~"

解释一下几个参数：

1、overwrite：覆写

2、--fields-terminated-by "~" ：指定该命令是对应建表时的那个‘fields terminated by '~' ;’表示以此分割