Sqoop导数据GC Limit或者Java Heap Space

最新推荐文章于 2024-08-11 03:08:49 发布

原创

最新推荐文章于 2024-08-11 03:08:49 发布 · 2k 阅读

4 ·

CC 4.0 BY-SA版权

本文介绍了在使用Sqoop导入大数据到Hadoop时遇到的内存溢出问题，具体表现为GC Limit或Java Heap Space错误。通过调整YARN和MapReduce的相关配置参数，如`yarn.scheduler.minimum-allocation-mb`、`yarn.scheduler.maximum-allocation-mb`、`mapreduce.map.memory.mb`和`mapreduce.reduce.memory.mb`，可以增大任务的内存分配，避免内存不足导致的任务失败。遵循这些调优策略，可以确保 Sqoop 运行更加稳定。

Sqoop导入数据内存溢出

利用sqoop可以将RDBMS的数据导入到HDFS上，但是在使用sqoop的时候，以mysql数据导入到hive数据为例，如果不注意设置MapReduce的资源，是会出现一个叫做GC limit xxxxx的错误的。
如下面的脚本

sqoop import \
--connect jdbc:mysql://localhost:3306/your_database \
--username root \
--password 123456 \
--target-dir /user/hive/warehouse/xxxx/xxx \
--hive-import \
--hive-database hive_database \
--hive-table hive_tableName\
--as-parquetfile \
--null-string '\\N' \
--null-non-string '\0' \
--fields-terminated-by '\001' \
--table mysql_tableName \
--fetch-size 1000

运行这个命令的时候，程序在yarn中申请到了5GB（这个因环境而异）的内存，然后，任务失败了，报出一个GC limit的错误
当出现这样的错误的时候，很显然就是sqoop在进行数据传输的过程当中，因为内存不足，引发了错误。
那么，如何让sqoop在创建一个mapreduce的任务时候，使用比较大的硬件资源呢。通过官网的文档得知，sqoop中有一个参数可以调整hadoop的参数，利用sqoop的-D <