Sqoop导入导出时数据内存溢出

最新推荐文章于 2023-02-15 15:59:51 发布

原创最新推荐文章于 2023-02-15 15:59:51 发布 · 796 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#sqoop #数据库 #hive

  sqoop import \
-D yarn.scheduler.minimum-allocation-mb=4096 \
-D yarn.scheduler.maximum-allocation-mb=16192 \
-D mapreduce.map.memory.mb=4096 \
-D mapreduce.reduce.memory.mb=4096 \
--connect jdbc:mysql://localhost:3306/your_database \
--username root \
--password 123456 \
--target-dir /user/hive/warehouse/xxxx/xxx \
--hive-import \
--hive-database hive_database \
--hive-table hive_tableName\
--as-parquetfile \
--null-string '\\N' \
--null-non-string '\0' \
--fields-terminated-by '\001' \
--table mysql_tableName \
--fetch-size 1000