Sqoop 测试数据导入示例

最新推荐文章于 2024-05-28 21:28:23 发布

秉寒

最新推荐文章于 2024-05-28 21:28:23 发布

阅读量905

点赞数

CC 4.0 BY-SA版权

分类专栏： sqoop

本文链接：https://blog.youkuaiyun.com/haohaixingyun/article/details/52490380

sqoop 专栏收录该内容

4 篇文章

订阅专栏

本文介绍如何使用 Sqoop 在 MySQL、HDFS 和 Hive 间进行数据迁移的具体操作步骤。包括从 HDFS 导入 MySQL、从 MySQL 导入 Hive、从 MySQL 导入 HDFS 的详细配置参数及执行命令。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Sqoop 1.4.6

执行方法

sqoop --options-file options1

1.hdfstomysql

export
--connect
jdbc:mysql://bigdatacloud:3306/test
--username
root
--password
123
--table
hdfstomysql
--columns
id,name,age
-m
1
--export-dir
hdfs://mycluster/hdfstomysql

2.mysqltohive

import
--connect
jdbc:mysql://bigdatacloud:3306/test
--username
root
--password
123
--target-dir
/sqoop/THive
--delete-target-dir
--as-textfile
-m
1
--table
T_P
--columns
id,name,age
--hive-import
--hive-overwrite
--hive-table
T_hive


3.mysqltohdfs
import
--connect
jdbc:mysql://bigdatacloud:3306/test
--username
root
--password
123
--target-dir
/sqoop/T1
--delete-target-dir
--as-textfile
-m
1
--table
T_P
--columns
id,name,age

1.

import
--connect
jdbc:mysql://bigdatahadoop:3306/test
--username
root
--password
123456
--table
t_person
--columns
id,name,age
--where
1=1
--target-dir
/sqoop/test1
--delete-target-dir
--as-textfile
-m
1
--null-string
''
--null-non-string
''

import
--connect
jdbc:mysql://bigdatacloud:3306/test
--username
root
--password
123456
--query
'select p.id,name,age,c.card_id,date_format(c.create_date,'%Y-%m-%d') as c_date  from t_person p join t_id_card c on p.id=c.p_id where p.age>17 and $CONDITIONS'
--target-dir
/sqoop/test2
--delete-target-dir
--as-textfile
-m
1
--null-string
''
--null-non-string 
''

import
--connect
jdbc:mysql://bigdataspark:3306/test
--username
root
--password
123456
--query
'select p.id,name,age,c.card_id,date_format(c.create_date,'%Y-%m-%d') as c_date  from t_person p join t_id_card c on p.id=c.p_id where p.age>17 and $CONDITIONS'
--target-dir
/sqoop/test3
--delete-target-dir
--as-textfile
-m
1
--null-string
''
--null-non-string 
''
--hive-import
--hive-overwrite
--create-hive-table
--hive-table
t_person_card
--hive-partition-key
day
--hive-partition-value
'2016-07-03'

export
--connect
jdbc:mysql://bigdatacloud:3306/test
--username
root
--password
123456
--table
t_person
--columns
id,name,age
-m
1
--export-dir
hdfs://mycluster/test