Hadoop运行sqoop任务时一直卡在: mapreduce.Job: Running job: job_1593343246519_0035
问题描述:Hadoop运行sqoop任务时一直卡在: mapreduce.Job: Running job: job_1593343246519_0035大数据集群在搭建的时候,格式化之后,运行典型的例子是可以的,但是为什么会出现这个问题呢,是因为yarn管理的内存资源不够了,在分配给MR作业运行的时候,jvm获得的运行内存低下,因此会卡着。计算:每个hadoop守护进程使用1000MB内存,因此需要2000MB内存来运行一个datanode和一个节点管理器,另外,还要为运行在本机上的其他进程保留足够内
原创
2020-06-29 18:28:17 ·
3059 阅读 ·
2 评论