sqoop安装基础学习

最新推荐文章于 2024-05-01 16:25:08 发布

五官比三观还正

最新推荐文章于 2024-05-01 16:25:08 发布

阅读量212

点赞数

CC 4.0 BY-SA版权

文章标签： sqoop 大数据

本文链接：https://blog.youkuaiyun.com/F_bChen/article/details/78968193

1.下载sqoop
http://archive.apache.org/dist/sqoop
1.4.4_2.0.4
2.解压
tar -zxvf sqoop-1.4.4.bin_hadoop-2.0.4-alpha.tar.gz -C /master/
3.改名
mv sqoop-1.4.4.bin_hadoop-2.0.4-alpha/ sqoop-1.4.4
**如果经常用可以将sqoop添加到环境变量中
$SQOOP_HOME/lib
4.数据库驱动
cp /root/mysql-connector-java-5.1.10.jar /master/sqoop-1.4.4/lib/
5.启动
./sqoop 警告
./sqoop help 帮助
6.导数据入HDFS
默认位置 ./sqoop import --connect jdbc:mysql://192.168.1.100:3306/itcast --username root --password 123 --table trade_detail (回车提示)
(一个表) ./sqoop import --connect jdbc:mysql://192.168.1.100:3306/itcast --username root --password 123 --table trade_detail --target-dir /sqoop/td1 -m 2 --fields-terminated-by '\t' --column "id,account,income"/--where 'id>2 and id<=9'
（多个表）./sqoop import --connect jdbc:mysql://192.168.1.100:3306/itcast --username root --password 123 --query 'select * from trade_detail where id>5 and $CONDITIONS' -m 1 --targer-dir /sqoop/td4
./sqoop import --connect jdbc:mysql://192.168.1.100:3306/itcast --username root --password 123 --query 'select * from trade_detail where id>5 and $CONDITIONS' -m 2 --targer-dir /sqoop/td4 --split-by trade_detail.id

7.导出HDFS
./sqoop export --connect jdbc:mysql://192.168.1.100:3306/itcast --username root --password 123 --export-dir '/sqoop/td3' --table td_0106 -m 1 --fileds-terminated-by '\t'