java.io.IOException: InvalidResourceRequestException: Invalid resource request

最新推荐文章于 2020-08-27 11:04:37 发布
最新推荐文章于 2020-08-27 11:04:37 发布
阅读量1.7k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据-KyLin(麒麟)
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/90043888
在执行Kylin的MR计算时遇到'java.io.IOException: InvalidResourceRequestException: Invalid resource request'的问题。错误源于YARN配置不匹配。通过调整yarn-site.xml中的'yarn.scheduler.maximum-allocation-mb'，确保其大于等于mapred-site.xml中'mapreduce.map.memory.mb'和'mapreduce.reduce.memory.mb'的值。经过多次尝试和配置修改，最终解决了报错问题，使得计算任务能够正常运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.背景

在这里插入图片描述
做一次kylin计算选择mr进行计算cube，但是报错
首先是
在这里插入图片描述

这一报错，报错打开是
在这里插入图片描述

yarn上的原因为
在这里插入图片描述

2019-05-09 15:07:38,495 ERROR [Thread-52] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Could not deallocate container for task attemptId attempt_1557383937624_0003_m_000000_0

2019-05-09 15:07:38,548 ERROR [Thread-52] org.apache.h
了解本专栏 订阅专栏 解锁全文
Hadoop【问题记录 03】【ipc.Client: Retrying connect to server:xxx/:8032+InvalidResourceRequestException】解决
シ風
08-16 1712
起因 我使用的是 hadoop-3.1.3 版本，在进行基准测试时，执行以下代码； [root@tcloud mapreduce]# hadoop jar ./hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -size 10kb -resFile home/hadoop/tmp/TestDFSIO.log 问题一【Retrying connect to server】 无法连接 ResourceM
spring错误集
weixin_44543307的博客
03-13 3757
spring错误集1. Mapper.xml中的SQL语句错误导致的2. java.io.IOException: Could not find resource mybatis-config.xml3. ERROR：Caused by: java.lang.ClassNotFoundException: com.alibaba.fastjson.JSON4. 端口占用异常5. springBoot启动错误6. 数据库版本问题：7. IDEA中Maven项目的web.xml中报错：cannot resolv
flink 报错：InvalidResourceRequestException
那又怎样？的博客
12-13 1491
1.运行命令：./yarn-session.sh -n 4 -tm 1024 -s 8   报错堆栈轨迹如下： 2018-12-13 15:41:23,092 ERROR org.apache.flink.yarn.YarnFlinkResourceManager                - FATAL ERROR IN YARN APPLICATION MASTER: Connecti...
hive在新增内部表的数据报错：Invalid resource request, requested memory ＜ 0, or requested memory ＞ max configured
V_YES_ME的博客
08-27 1924
java.io.IOException: org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=1536, maxMemory=1024 at org.apache.hadoop.yarn.server.resou
解决 org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException
林波的博客
07-03 8082
解决 org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist报错：16/06/28 12:39:38 INFO mapreduce.Job: Task Id : attempt_1467084753393_0003_m_000000
requestedMemory=-1
fansy1990的专栏
10-26 4371
软件版本： Hadoop2.6.0 （源码使用CDH5.7.0 ，对应hadoop 2.6.0），集群使用Hadoop2.6.4（原生,JDK1.8）, Intellij idea14 (JDK1.8);问题描述： 使用Intellij IDEA编译打MR程序的Jar包，可以直接在终端使用hadoop jar的方式运行，但是直接在Intellij IDEA中提交却任务失败？查询日志表现为：2016
YARN 启动后失败退出——没有请求资源——Invalid resource request, no resources request...
weixin_34112181的博客
08-22 647
在ambari-server中修改了yarn的配置，重新启动服务，结果RM启动失败，错误也很奇怪，“不合理的资源请求，没有请求任何资源”！详细如下： 2018-08-21 16:06:16,639 FATAL resourcemanager.ResourceManager (ResourceManager.java:main(1495)) - Error starting ResourceMan...
java.io.IOException: org.apache.hadoop.yarn.exceptions.InvalidLabelResourceRequestException: Invalid label resource request, cluster do not contain , label= *
03-19
Resource resource = Resource.newInstance(1024, 1); resource.setNodeLabelExpression("label1"); ``` --- #### 五、验证资源配置 1. **检查最大资源分配** 确保`yarn.scheduler.maximum-allocation-mb`和`...
<el-table v-loading="loading" :data="nasList"> <el-table-column label="deptId" align="center" prop="deptId"> </el-table-column> <el-table-column label="fileName" align="center" prop="fileName"> <template #default="scope"> <el-link type="primary" @click="handleDownload(scope.row)"> {{ scope.row.fileName }} </el-link> </template> </el-table-column> <el-table-column label="userName" align="center" prop="username"> </el-table-column> </el-table> function handleDownload(row) { // 使用GET请求 window.open( `http://127.0.0.1:9404/upload/download?fileName=${encodeURIComponent( row.fileName )}`, "_blank" ); } // 斷點下載（支援 Range） @GetMapping("/download") public void download(@RequestParam String fileName, HttpServletRequest req, HttpServletResponse resp) throws IOException { fileUploadService.download(fileName, req, resp); } public void download(String fileName, HttpServletRequest req, HttpServletResponse resp) throws IOException { init(); try (DiskShare share = (DiskShare) session.connectShare(SHARE_NAME)) { String nasPath = NAS_UPLOAD_PATH + "/" + fileName; if (!share.fileExists(nasPath)) { resp.setStatus(HttpServletResponse.SC_NOT_FOUND); return; } //获取到目标文件夹 com.hierynomus.smbj.share.File remoteFile; try { remoteFile = share.openFile(nasPath, EnumSet.of(AccessMask.GENERIC_WRITE), null, SMB2ShareAccess.ALL, SMB2CreateDisposition.FILE_OVERWRITE_IF, null); } catch (Exception e) { log.error("Error opening remote file for writing: {}", nasPath, e); throw new IOException("Failed to open file for writing: " + nasPath); } long fileLength = remoteFile.getFileInformation().getStandardInformation().getEndOfFile(); String range = req.getHeader("Range"); long start = 0, end = fileLength - 1; if (range != null && range.startsWith("bytes=")) { String[] parts = range.replace("bytes=", "").split("-"); start = Long.parseLong(parts[0]); if (parts.length > 1 && !parts[1].isEmpty()) end = Long.parseLong(parts[1]); resp.setStatus(HttpServletResponse.SC_PARTIAL_CONTENT); } else { resp.setStatus(HttpServletResponse.SC_OK); } long contentLength = end - start + 1; resp.setHeader("Content-Type", "application/octet-stream"); resp.setHeader("Content-Length", String.valueOf(contentLength)); resp.setHeader("Content-Range", "bytes " + start + "-" + end + "/" + fileLength); resp.setHeader("Accept-Ranges", "bytes"); try (InputStream smbIn = remoteFile.getInputStream(); ServletOutputStream out = resp.getOutputStream()) { smbIn.skip(start); // 跳过开始位置 byte[] buffer = new byte[8192]; long remaining = contentLength; int len; while ((len = smbIn.read(buffer, 0, (int) Math.min(buffer.length, remaining))) > 0) { out.write(buffer, 0, len); remaining -= len; } out.flush(); } NasFileInfo fileInfo = fileInfoMapper.selectOne( new LambdaQueryWrapper<NasFileInfo>().eq(NasFileInfo::getFileName, fileName) ); if (fileInfo != null) { NasDownloadLog log = new NasDownloadLog(); log.setFileId(fileInfo.getId()); log.setFileName(fileName); log.setUsername(SecurityUtils.getUsername()); // 自行實作獲取使用者名稱 log.setIpAddress(req.getRemoteAddr()); log.setUserAgent(req.getHeader("User-Agent")); log.setDownloadTime(LocalDateTime.now()); nasDownloadLogMapper.insert(log); } } } 这是一个点击前端触发下载的全过程 10:08:39.416 [com.alibaba.nacos.client.remote.worker.0] INFO c.a.n.client.naming - [onConnected,90] - Grpc connection connect 10:08:39.416 [com.alibaba.nacos.client.naming.grpc.redo.0] ERROR c.a.n.c.r.client - [printIfErrorEnabled,102] - Send request fail, request = InstanceRequest{headers={app=unknown}, requestId='null'}, retryTimes = 0, errorMessage = java.util.concurrent.ExecutionException: com.alibaba.nacos.shaded.io.grpc.StatusRuntimeException: UNAVAILABLE: Channel shutdown invoked 10:08:39.438 [XNIO-1 task-2] ERROR c.r.c.s.h.GlobalExceptionHandler - [handleRuntimeException,112] - 请求地址'/upload/download',发生未知异常. com.hierynomus.mssmb2.SMBApiException: STATUS_INVALID_PARAMETER (0xc000000d): Create failed for \\10.32.5.80\AnyshareBAK\\upload\bsc_template_1752474167013.xlsx at com.hierynomus.smbj.share.Share.receive(Share.java:371) at com.hierynomus.smbj.share.Share.sendReceive(Share.java:351) at com.hierynomus.smbj.share.Share.createFile(Share.java:159) at com.hierynomus.smbj.share.DiskShare.createFileAndResolve(DiskShare.java:97) at com.hierynomus.smbj.share.DiskShare.resolveAndCreateFile(DiskShare.java:79) at com.hierynomus.smbj.share.DiskShare.open(DiskShare.java:66) at com.hierynomus.smbj.share.DiskShare.exists(DiskShare.java:193) at com.hierynomus.smbj.share.DiskShare.fileExists(DiskShare.java:172) at com.ruoyi.nas.service.FileUploadService.download(FileUploadService.java:198) at com.ruoyi.nas.controller.FileUploadController.download(FileUploadController.java:55)后端提示错误
最新发布
07-24
- `STATUS_INVALID_PARAMETER` (0xC000000D) 表示传递给系统调用的参数无效。 - 在SMB协议中，当我们尝试创建或打开一个文件时，可能会遇到此错误。这通常意味着我们在请求中提供的某些参数不正确或不被支持。 可能...
Hive异常- requestedMemory=1536, maxMemory=1024
weixin_30781775的博客
07-11 1007
错误描述： 文体格式： java.io.IOException: org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested memory < 0, or requested memory > max configured, reques...
Invalid header signature POI的解决方案
03-23
NULL 博文链接：https://universes.iteye.com/blog/854485
pdfjs-1.9.426
11-28
pdf web在线预览js插件，满足在web端浏览pdf文件的需求。
java.io.IOException: Invalid header signature; read 0xE011BDBFEFBDBFEF, expected 0xE11AB1A1E011CFD0
s312303781的博客
03-16 6535
poi导出excel或者word的时候，报 java.io.IOException: Invalid header signature; read 0xE011BDBFEFBDBFEF, expected 0xE11AB1A1E011CFD0 解决方案： 1. 说是文件损坏，另存一下或者重新新建一个文档，然后将内容复制一份到新文档里，保存使用。 2. maven打包的时候，resource下的资源...
spark-yarn源码分析之AM申请container事件流程
lzf的博客
07-03 2370
spark-yarn部分 run Driver private def runDriver(): Unit = { addAmIpFilter(None) userClassThread = startUserApplication() // This a bit hacky, but we need to wait until the spark.driver.p...
HTTP Status 404(The requested resource is not available)的几种解决方法
pangcx的专栏
05-22 1255
昨天遇到这个错误了，除了 http://blog.csdn.net/IBM_linghb1985/article/details/3866817 里面提到的原因之外。大家不要忘了一个重要的方法就是查看console输出的错误信息，这里的信息往往更加详细，在网上搜索这些错误信息更容易确定错误所在。
Java poi读取xls文件出现nvalid header signature异常
衫领巨人
02-17 8782
异常： Invalid header signature; read0x0010000200040009, expected 0xE11AB1A1E011CFD0 - Your file appears not to be avalid OLE2 document   用Java poi 3.14读取xls文件的时候出现这个异常，这是因为xls文件由第三方工具导出不是标准的Excel文件
Invalid header signature; read 0x0000000000000000, expected 0xE11AB1A1E011CF
热门推荐
往前的娘娘
05-04 2万+
最近使用poi从onenet导出设备信息，发现报这个异常，网上找到是都是不是Excel格式文件，另存为的问题，但是我的是poi生成的这就尴尬了 问题出在 FileOutputStream 和FileInputStream 创建位置不同 /** * 从onenote生成excel文件 * @param jarray 数据 * @param path ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值