Sqoop 使用指南

最新推荐文章于 2025-08-14 19:51:53 发布

weixin_33674976

最新推荐文章于 2025-08-14 19:51:53 发布

阅读量110

点赞数

CC 4.0 BY-SA版权

文章标签：数据库

原文链接：https://my.oschina.net/pearma/blog/829091

为什么80%的码农都做不了架构师？>>>

SQOOP1 数据加载

如果要用Sqoop 1来将数据从Teradata中，可以安装sqoop connector。安装完了之后，可以执行以下命令来完成数据的加载。

sqoop import --connect jdbc:teradata://teradataIP/DATABASE=databasename --username teradata_username \
--password teradata_passwd --table taradata_table --split-by split_by_column_name \
--hive-import --hive-table hive_database.hive_table -m 2  --fields-terminated-by '\001' \
--lines-terminated-by '\n' --hive-overwrite -- --input-method split.by.amp

参数基本还是很直白的。

--split-by 是用于表没有PK的情况。在Teradata数据库中，一般用PI(Primary Index)来对数据表进行hash，以便提高查询效率，所以用sqoop抽取数据的时候，可以用pi 字段作为split-by的参数值

-m 是mapper数量，可以考虑调大，提高并行度。

转载于:https://my.oschina.net/pearma/blog/829091