用sqoop将mysql数据导入到hdfs中

最新推荐文章于 2024-07-13 22:59:21 发布

diannao720

最新推荐文章于 2024-07-13 22:59:21 发布

阅读量468

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/diannao720/article/details/52980776

hadoop 专栏收录该内容

22 篇文章

订阅专栏

本文介绍如何使用SQOOP工具从MySQL和Oracle数据库中导入数据，并解决中文乱码问题。文章提供了具体的命令示例，包括如何指定目标目录以及设置字符集。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

将mysql的mysql-connector和oracle的ojdbc6.jar的jar包复制至sqoop解压后的lib目录下

测试：

sqoop list-databases --connect jdbc:mysql://IP_ADDRESS:3306/ --username root --password 123

导入：

sqoop import --connect jdbc:mysql://IP_ADDRESS:3306/DATA_BASE --table DATA_BASE --username root --password 123 -m 1

sqoop import --connect "jdbc:oracle:thin:@172.16.3.184:1521:ORCL" --table N_NAME_INFO --username user --password 123456  --target-dir /user/root/sjhz/N_NAME_INFO -m 1

如果中文乱码：

在最后加上：-- --default-character-set=utf8

例如：sqoop import --connect jdbc:mysql://172.16.1.177:3306/evaluate --table vedio --username root --password 123456 -m 1 -- --default-character-set=utf-8

加入制定目录：

--target-dir