sqoop哪个命令可以列出mysql_Hive记录-Sqoop常用命令

最新推荐文章于 2022-09-14 15:56:06 发布

原创最新推荐文章于 2022-09-14 15:56:06 发布 · 311 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#sqoop哪个命令可以列出mysql

Sqoop 是一个用于在 Hadoop 和传统 RDBMS 之间迁移数据的开源工具。它依赖 MapReduce 实现并行导入。本文详细介绍了 Sqoop 常用命令，包括列出数据库、表，创建 Hive 表，导入导出数据等操作，涵盖了从 MySQL 导入数据到 Hive，以及从 Hive 导出数据到 MySQL 的各种场景，对于数据迁移工作具有实践指导意义。

1.sqoop是什么

Sqoop是一款开源的数据迁移工具，主要用于Hadoop(Hive)与传统的关系型数据库(mysql...)相互之间的数据迁移。

2.sqoop的特点

sqoop的底层实现是mapreduce，所以sqoop依赖于hadoop,数据是并行导入的。

3.sqoop常用命令

sqoop help

1)列出mysql数据库中的所有数据库中的test数据库

sqoop list-databases --connect jdbc:mysql://localhost:3306/test -usernametest -password

test

2)连接mysql并列出数据库中的表

sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username test --password test

3)将关系型数据的表结构复制到hive中

sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table users --username test

--password test --hive-table users --fields-terminated-by "\0001" --lines-terminated-by "\n";

参数说明：

--fields-terminated-by "\0001" 是设置每列之间的分隔符，"\0001"是ASCII码中的1，它也是hive的默认行内分隔符，而sqoop的默认行内分隔符为"，" --lines-terminated-by "\n" 设置的是每行之间的分隔符，此处为换行符，也是默认的分隔符；

注意：只是复制表的结构，表中的内容没有复制

4)将数据从关系数据库导入文件到hive表中

sqoop import --connect jdbc:mysql://localhost:3306/test --username test --password test

--table users --hive-import --hive-table users -m 2 --fields-terminated-by "\0001";参数说明：

-m 2 表示由两个map作业执行；

--fields-terminated-by "\0001" 需同创建hive表时保持一致；

5)将hive中的表数据导入到mysql数据库表中

sqoop export --connect jdbc:mysql://192.168.66.66:3306/test --username test --password test

--table users --export-dir /user/hive/warehouse/users/part-m-00000 --input-fields-terminated-by '\0001'

注意：

a.在进行导入之前，mysql中的表users必须已经提起创建好了。

b.jdbc:mysql://192.168.66.66:3306/test中的IP地址改成localhost会报异常

6)将数据从关系数据库导入文件到hive表中，--query 语句使用

sqoop import --append --connect jdbc:mysql://192.168.66.66/test --username test --password test --query "select id,age,name from userinfo where \$CONDITIONS" -m 1 --target-dir /user/hive/warehouse/userinfos2 --fields-terminated-by ",";

7)将数据从关系数据库导入文件到hive表中，--columns --where 语句使用

sqoop import --append --connect jdbc:mysql://192.168.66.66:3306/test --username test --password test --table userinfo --columns "id,age,name" --where "id > 3 and (age = 88 or age = 80)" -m 1 --target-dir /user/hive/warehouse/userinfos2 --fields-terminated-by

",";

注意：--target-dir /user/hive/warehouse/userinfos 可以用 --hive-import --hive-table userinfos进行替换

8)mysql导入数据到HDFS

sqoop import --connect jdbc:mysql://192.168.66.66:3306/test --username root --password 123456 --table test_user --target-dir /usr/test -m 2 --fields-terminated-by "\t" --columns

"id,name" --where 'id>2 and id<=6'

sqoop export --connect jdbc:mysql://192.168.66.66:3306/test --username root --password 123456 --export-dir '/usr/test' --table test -m 2

import的主要参数

--connect jdbc连接地址

--connection-manager 连接管理者

--driver 驱动类

--hadoop-mapred-home

--help help信息

-P 从命令行输入密码

--password 密码

--username 账号

--verbose 打印信息