Sqoop将MySQL表结构同步到hive(text、orc)

最新推荐文章于 2025-06-03 19:00:00 发布

weixin_30821731

最新推荐文章于 2025-06-03 19:00:00 发布

阅读量716

点赞数

CC 4.0 BY-SA版权

文章标签：数据库大数据

原文链接：http://www.cnblogs.com/EnzoDin/p/10339199.html

本文介绍如何使用Sqoop工具将MySQL数据库中的表结构及数据同步至Hive，包括创建Hive表并指定orc存储格式，以及通过Sqoop导入数据至指定的Hive表中。

Sqoop将MySQL表结构同步到hive

sqoop create-hive-table --connect jdbc:mysql://localhost:3306/sqooptest --username root --password 123qwe --table sqoop_job
 --hive-table sqoop_job --fields-terminated-by ,

orc格式的

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 1234qwer --table test_table --hcatalog-database db_fz
 --hcatalog-table test_table --create-hcatalog-table --hcatalog-storage-stanza "stored as orc"

转载于:https://www.cnblogs.com/EnzoDin/p/10339199.html