sqoop抽取数据报错：Failed to submit application to YARN : Application rejected by queue placement policy

最新推荐文章于 2025-01-05 21:47:16 发布
最新推荐文章于 2025-01-05 21:47:16 发布
阅读量3.7k 收藏 2
点赞数 1
分类专栏： sqoop使用 大数据hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zixoa/article/details/104519337
版权
本文解决CDH集群使用SQOOP从MySQL抽取数据时遇到的应用提交错误问题，通过修改CM界面的动态资源配置及放置规则配置，成功解决报错情况。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

报错内容
cdh集群sqoop在抽取mysql时报错：

Failed to submit application_1582700194294_0010 to YARN : Application rejected by queue placement policy

解决办法

在CM界面修改动态资源配置
步骤
进入到动态资源配置按下图进到放置规则中修改配置，即可解决
配置

【大数据】hive-User test cannot submit applications to queue root.default
debimeng
04-08 6528
Hive---User test cannot submit applications to queue root.default 场景： hive：2.6 系统：CentOS6.8 直接在系统用户下执行hive进入hive环境执行语句 $ hive $ select id,name,phone,adree,lag(......) from tb_dept_sub limit 5; 报错信息如...
sqoop数据导出报错Job failed as tasks failed. failedMaps:1 failedReduces:0
晓晓的天空
05-07 3214
sqoop数据导出报错Job failed as tasks failed. failedMaps:1 failedReduces:0
Failed to run job: Application rejected by queue placement policy问题解决方法hive
baidu_35062444的博客
05-20 9634
使用自己新建的用户，执行hive语句insert数据时，报错：job submission failed with excepiton 'java.io.IOException(Failed to run job: Application rejected by queue placement policy)'  FAILED:Excution Error, return code 1 from
Flink on Yarn运行模式下三种部署模式的区别与联系
最新发布
zby384的博客
01-05 723
特性/模式集群共享性一个集群多个作业共享每个作业独立使用一个集群每个作业独立使用一个集群JobManager长期运行的 JobManager，多个作业共享一个 JobManager每个作业启动独立的 JobManager每个作业启动独立的 JobManager，JobManager 与 YARN 应用生命周期绑定作业数量支持多个作业，作业共享资源每个作业是独立的每个作业是独立的作业生命周期作业提交后，集群持续运行，直到手动停止作业完成后，集群会被销毁作业完成后，集群会被销毁代码解析位置。
导入海量数据到HBASE解决方案，使用importtsv工具通过BuckLoad批量导入，问题解决Permission denied，Application rejected by queue..
mathlpz126的博客
08-11 565
首先上终极解决方案： create_namespace 'recom_ns' create 'recom_ns:prefer_result','info', { NUMREGIONS => 10 , SPLITALGO => 'UniformSplit' } hdfs dfs -put hbase_test.data /tmp/ hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," \ -Dm
Failed to submit application_1662088449147_0004 to YARN : User sfapp cannot submit applications to q
cyh的博客
09-02 1864
提交MR任务，报无队列权限问题
Spark通过YARN提交任务不成功（包含YARN cluster和YARN client)
weixin_33770878的博客
03-30 556
       　　  　　无论用YARN cluster和YARN client来跑，均会出现如下问题。   [spark@master spark-1.6.1-bin-hadoop2.6]$ jps 2049 NameNode 2706 Jps 2372 ResourceManager 2660 Master 2203 SecondaryNameNode [spa...
【root is not a leaf queue】 org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit appli..
weixin_43412762的博客
04-06 3459
【root is not a leaf queue】org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1680768899138_0002 to YARN : root is not a leaf queue
Failed to submit application_1618751895029_0003 to YARN : root is not a leaf queue
qq_21480329的博客
04-18 4498
Failed to submit application_1618751895029_0003 to YARN : root is not a leaf queue ​ hive执行数据插入报错,执行sql如下： insert into table dw_weblog_detail partition(datestr='20181101') select c.valid,c.remote_addr,c.remote_user,c.time_local, substring(c.time_local,0,1
使用Sqoop将数据从Hive导入MySQL报错：No columns to generate for ClassWriter
weixin_46507693的博客
04-11 3405
使用sqoop将数据从hive导入mysql
sqoop 工具报错：No columns to generate for ClassWriter报错真实原因
IKnowNothinglee的博客
05-29 1万+
今天遇到这个错误，查了一下网上的答案五花八门，分析对比后结果发现，这个报错其实不是真正的报错。只是这段话刚好是报错代码的最后面，所以才被误以为这是一个独立的报错，这只是一类错误的统称，其实有很多不同的错误都会导致出现这个代码。 java.io.IOException: No columns to generate for ClassWriter 比如： （1）由于mysql驱动mysql-co...
sqoop报错：Error: java.io.IOException: SQLException in nextKeyValue
xxl0769的博客
12-22 1100
Error: java.io.IOException: SQLException in nextKeyValue at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277) at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:568) at org.apache.hadoop.m
sqoop导入报错 Error: java.io.IOException: SQLException in nextKeyValue
jm88621的博客
08-05 1484
原因：导入日期数据为0000-00-00 00:00:00时造成的 Error: java.io.IOException: SQLException in nextKeyValue at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277) at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapT
Yarn提交job报错Failed to submit application_1675941756585_0001 to YARN : root is not a leaf queue
wenchun001的博客
02-10 3507
yarn提交Job到集群报错
Mapreduce提交job到队列，报错Failed to submit application
热门推荐
大黑牛的博客
07-22 1万+
  需求：提交job到集群中的某个队列，此时我们把default 队列改为Flow ，order，然后会报下述的错： Exception in thread "main"  java.io.IOException: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1532225489052...
Failed to submit XXXX to YARN : Application XXXXX submitted by user XX to unknown queue: XX
taoist1997的博客
12-21 5797
最近做数仓的项目搭建到hive on spark 的时候，在给Yarn 配置多队列容量调度器，报了如下的错误： 可以看到很明显有是说队列名不存在了，反复检查了几次，配置的文件不会错，包括每个配置项代表什么意思都仔细研究了下。参考yarn队列配置 偶然看到一个命令却很少有人提及: yarn rmadmin -refreshQueues 很多人都是直接重启yarn就好了，但是我重启了很多次都没用直到我用了上面一段代码，对yarn队列刷新，才看到了令人开心的一幕： 所以小伙伴们，配置完之后，记得分发配置文件，
spark提交作业到yarn队列报错：hadoop.yarn.exceptions.YarnException
07-08 3590
报错详情： Exception in thread "main" org.apache.hadoop.yarn.exceptions.YarnException: org.apache.hadoop.security.AccessControlException: User amrcloud does not have permission to submit application_1585639257391_0011 to queue default at org.apache.hadoop.ya
RejectedPolicy--DiscardPolicy
Cages的专栏
02-27 1672
package com.jerry.concurrency; import java.util.concurrent.ArrayBlockingQueue; import java.util.concurrent.ThreadPoolExecutor; import java.util.concurrent.TimeUnit; public class TestRejectedPolicy {
让人挠头的大数据异常问题
z_ran的博客
03-14 399
Ranger，Yarn，HDFS，Flink ，kafka，Spark问题汇总
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值