大数据-Sqoop命令

Sqoop命令

注意：需要将mysql的jar包放在lib文件夹下

一、Import命令

Sqoop-MySQL导入到HDFS

sqoop import 
--connect jdbc:mysql://hadoop1:3306/data 
--username root 
--password root 
--table test 
--target-dir /sqoop/test 
--num-mappers 1 
--fields-terminated-by "\t"

Sqoop-query过滤数据

# query过滤
sqoop import 
--connect jdbc:mysql://hadoop1:3306/data 
--username root 
--password root 
--target-dir /sqoop/test 
--num-mappers 1 
--fields-terminated-by "\t" 
--query 'select * from test where id <= 1 and $CONDITIONS'

Sqoop-columns过滤字段

sqoop import 
--connect jdbc:mysql://hadoop1:3306/data 
--username root 
--password root 
--table test 
--target-dir /sqoop/data --num-mappers 1 
--columns name

Sqoop-MySQL导入到Hive

sqoop import 
--connect jdbc:mysql://hadoop1:3306/data 
--username root 
--password root 
--table test 
--num-mappers 1 
--hive-import 
--fields-terminated-by '\t' 
--hive-overwrite 
--hive-table test

二、export命令

Hive导出到Sqoop-MySQL

# 清空test表的数据
truncate table test;

sqoop export 
--connect jdbc:mysql://hadoop1:3306/data 
--username root 
--password root 
--table test 
--num-mappers 1 
--export-dir /user/hive/warehouse/test 
--input-fields-terminated-by "\t"

三、list-databases命令

sqoop list-databases 
--connect jdbc:mysql://hadoop1:3306/ 
--username root 
--password root

四、list-databases命令

sqoop list-tables 
--connect jdbc:mysql://hadoop1:3306/data 
--username root 
--password root;

五、codegen命令

sqoop codegen 
--connect jdbc:mysql://hadoop1:3306/data 
--username root 
--password root 
--table test 
--bindir /root/sqoop/bean 
--class-name bean 
--fields-terminated-by "\t"

六、merge命令

（1）创建HDFS路径

（2）上传文件到HDFS路径

（3）上传文件到HDFS路径

sqoop merge 
--new-data /sqoop/new 
--onto /sqoop/old 
--target-dir /sqoop/merge 
--jar-file /root/sqoop/bean/bean.jar 
--class-name bean 
--merge-key id