hadoop大数据平台手动搭建-sqoop

本文介绍了如何在Hadoop环境中安装和配置Sqoop工具,并通过示例验证了配置的成功。Sqoop是连接关系型数据库与Hadoop的重要桥梁,用于高效地在两者间迁移数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

sqoop主要是在关系型数据库与hadoop交互数据。作为hadoop的客户端工具。可安装在任一节点上,我安装在master上的。

1.tar -zxvf /opt/sqoop-1.4.6-cdh5.8.0.tar.gz

2.修改环境变量

vi /etc/profile

加入:

export SQOOP_HOME=/opt/sqoop-1.4.6-cdh5.8.0

export PATH=$PATH:$SQOOP_HOME/bin

执行命令:

source /etc/profile

3.验证成功否

[hadoop@master ~]$ sqoop list-databases --connect jdbc:mysql://master:3306/ --username root -password 123456

Warning: /opt/sqoop-1.4.6-cdh5.8.0/../hcatalog does not exist! HCatalog jobs will fail.

Please set $HCAT_HOME to the root of your HCatalog installation.

Warning: /opt/sqoop-1.4.6-cdh5.8.0/../accumulo does not exist! Accumulo imports will fail.

Please set $ACCUMULO_HOME to the root of your Accumulo installation.

Warning: /opt/sqoop-1.4.6-cdh5.8.0/../zookeeper does not exist! Accumulo imports will fail.

Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.

17/03/23 15:44:43 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.8.0

17/03/23 15:44:43 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.

17/03/23 15:44:43 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.

information_schema

hive

hue

mysql

test

[hadoop@master ~]$ 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值