sqoop的使用

最新推荐文章于 2021-10-29 20:50:01 发布

原创最新推荐文章于 2021-10-29 20:50:01 发布 · 1.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#sqoop的使用

sqoop 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了如何使用SQoop工具在MySQL数据库与HDFS之间进行数据迁移。内容包括安装配置、导入导出操作及查看数据库等基本功能。适用于需要在关系型数据库与Hadoop集群间传输数据的场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sqoop的使用

一、准备工作

1.如果没有安装sqoop的可以参考http://blog.youkuaiyun.com/zhu_xun/article/details/17679861进行安装。

2.把jdbc驱动copy至sqoop/lib目录下：

本例中的jdbc驱动为mysql-connector-java-5.1.24-bin.jar

二、使用

1.把hdfs里面的数据导入到mysql数据库：

#把hdfs里面的数据导入到mysql数据库（'\t'表示以tab作为分隔符）
sqoop export --connect jdbc:mysql://192.168.8.22:3306/test?characterEncoding\=UTF-8 --username root --password '' --table goods --export-dir finallResult/part-r-00000 --fields-terminated-by '\t'

2.将MySql数据库中的数据导入到hdfs里面：

#将MySql数据库中的数据导入到hdfs里面（默认用逗号作为分隔符）
#sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password '' --table goods m 1

3.列出主机上所有数据库：

#列出数据库中的所有表
#sqoop list-databases --connect jdbc:mysql://localhost:3306/test --username root --password ''

4.列出某一数据库中所有的表：

#sqoop list-databases --connect jdbc:mysql://localhost:3306/test --username root --password ''

未完待续。。。。。。

详细使用情况，参见官方文档：http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html