Hadoop集群Sqoop组件的搭建

最新推荐文章于 2024-03-16 21:43:50 发布

原创最新推荐文章于 2024-03-16 21:43:50 发布 · 314 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #hadoop #sqoop

大数据同时被 2 个专栏收录

8 篇文章

订阅专栏

Hadoop

8 篇文章

订阅专栏

本文详细介绍了如何使用Sqoop在Hadoop和MySQL之间进行数据的导入与导出操作。首先，通过tar-zxvf命令解压和重命名文件，然后设置环境变量，并修改sqoop.env.sh配置文件。接着，将MySQL的JDBC驱动复制到Sqoop的lib目录下。最后，使用sqoop import和export命令测试与MySQL的连接，实现数据的迁移。

解压，重命名，环境变量

1.	tar -zxvf
2.	mv 
3.	vi ~/.bash_profile
    export SQOOP_HOME=/usr/local/src/sqoop
    export PATH=$SQOOP_HOME/bin:$PATH
4.	source ~/.bash_profile

修改sqoop.env.sh

1.	cd sqoop/conf
2.	vi sqoop.env.sh
        修export HADOOP_COMMON_HOME=/usr/local/src/hadoop
        export HADOOP_MAPRED_HOME=/usr/lcoal/src/hadoop
        export HBASE_HOME=/usr/local/src/hbase
        export HIVE_HOMR=/usr/local/src/hive
        export ZOOCFGDIR=/usr/local/src/zookeeper/conf

复制jar包到sqoop下的lib目录下

1.	cp mysql-connector-java-5.1.48.jar /usr/local/src/sqoop/lib
2.  测试连接MySQL
    sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P

sqoop导入和导出MySQL数据(hdfs)

说明：Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，    
    其中主要使用了import和export这两个工具
1.	sqoop import --connect jdbc:mysql://localhost:3306/数据库名 
    --username root --        password 密码 --table 
2.	sqoop export --connect jdbc:mysql://localhost:3306/数据库名 --username 账户 
    --password 密码 --table 导出表名 
    --export-dir /user/hive/warehouse/数据文件/导入表名（后面的路径是hdfs的路径）