13.SQOOP内存溢出问题处理

戒掉贪嗔痴

于 2023-02-15 15:59:51 发布

阅读量318

点赞数

分类专栏： Hadoop-大数据运维文章标签： sqoop 数据库 java

本文链接：https://blog.youkuaiyun.com/weixin_43346403/article/details/129045169

版权

Hadoop-大数据运维专栏收录该内容

22 篇文章

订阅专栏

文章讨论了在使用SQOOP进行数据导出时遇到的内存溢出问题。通过调整mapreduce.map.memory.mb参数，从2304MB设置，成功避免了内存溢出，从而确保了数据导出任务的顺利完成。这表明在处理大数据操作时，合理配置内存资源至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SQOOP 内存溢出问题：

--这个没有执行成功。报内存溢出：
/usr/bin/sqoop export -D mapred.child.java.opts="-Djava.security.egd=file:/dev/../dev/urandom"
--username push --password 'push'
--connect "jdbc:oracle:thin:@10.10.97.115:1521/yxdb"
--table PUSH.TKHZHSJ --hcatalog-database adp_usr
--hcatalog-table temp_export_USR_V_KHZHSJ_ES
--bindir /opt/bigdata/BDWorkflow/executor/log/sqoop_bin/20221212165732/
--outdir /opt/bigdata/BDWorkflow/executor/log/sqoop_out/20221212165732/
--class-name PUSH.TKHZHSJ20221212170933 -m 1 -- --default-character-set=utf-8
--delete-target-dir --direct

--这个执行成功。
/usr/bin/sqoop export -D mapreduce.map.memory.mb=2304
--username push --password 'push'
--connect "jdbc:oracle:thin:@10.10.97.115:1521/yxdb"
--table PUSH.TKHZHSJ --hcatalog-database adp_usr
--hcatalog-table temp_export_USR_V_KHZHSJ_ES
--bindir /opt/bigdata/BDWorkflow/executor/log/sqoop_bin/20221214002931/
--outdir /opt/bigdata/BDWorkflow/executor/log/sqoop_out/20221214002931/
--class-name PUSH.TKHZHSJ20221214010003 -m 1 -- --default-character-set=utf-8
--delete-target-dir --direct

主要是标红色的部分不一样。