Sqoop导入导出相关问题

kingloneye

于 2020-12-11 15:00:55 发布

阅读量308

点赞数

分类专栏：大数据 Sqoop 文章标签： sqoop

本文链接：https://blog.youkuaiyun.com/weixin_38887752/article/details/111035470

版权

本文介绍了Sqoop导出脚本的编写，并详细讨论了导出数据时的update和insert策略。重点讲解了-update-mode选项，包括updateonly和allowinsert模式，以及如何通过-update-key指定更新条件。同时，提到了空值处理，使用-input-null-string和-input-null-non-string参数确保Hive与MySQL中Null值的一致性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Sqoop导出脚本

1）编写Sqoop导出脚本
在/opt/bin目录下创建脚本sqoop_export.sh

vim sqoop_export.sh

在脚本中填写如下内容

#!/bin/bash

db_name=gmall

export_data() {
   
/opt/sqoop/bin/sqoop export \
--connect "jdbc:mysql://hadoop001:3306/${db_name}?useUnicode=true&characterEncoding=utf-8"  \
--username root \
--password root \
--table $1 \
--num-mappers 1 \
--

最低0.47元/天解锁文章