Sqoop 同步Parquet partition Hive表

最新推荐文章于 2023-12-12 18:09:17 发布

阿武z

最新推荐文章于 2023-12-12 18:09:17 发布

阅读量2.2k

点赞数 2

分类专栏： Hive Sqoop

本文链接：https://blog.youkuaiyun.com/xw514124202/article/details/90048912

版权

本文详细介绍了如何使用Sqoop将MySQL数据同步到Parquet或Orc类型的Hive分区表，以及从Hive导出到MySQL的流程。在导入过程中，特别提到了针对Parquet和Orc类型需要额外处理的问题，如删除HDFS上的partition目录。同时，指出Hcatalog在某些Sqoop操作中的限制，并提供了参考文档链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、import (mysql to hive)

1、同步textfile类型（不支持Orc或Parquet）

way 1 (同步到hive表)

sqoop import \
  --connect jdbc:mysql://localhost:3306/mysql_db \
  --username mysql_user \
  --password mysql_pass \
  --table mysql_table \
  --columns mysql_column_list \
  --where "1=1 " \
  --hive-import \
  --hive-overwrite \
  --hive-table hive_db.hive_table \
  --hive-partition-key hive_partition_key \
  --hive-partition-value hive_partition_value \
  -m 1

way 2 (同步到hdfs 需要加映射)

sqoop import \
  --connect jdbc:mysql://localhost:3306/mysql_db \
  --username mysql_user \
  --password mysql_pass \
  --table mysql_table \
  --colum