kylin Build过程问题排查：17 Step Name: Build Cube In-Mem

最新推荐文章于 2020-06-11 17:24:16 发布

weixin_34279184

最新推荐文章于 2020-06-11 17:24:16 发布

阅读量384

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/qqflying/p/10966439.html

本文详细记录了在使用Kylin进行BuildCubeIn-Mem操作时遇到的内存错误，并提供了具体的解决方案。错误信息显示所需的内存超过集群支持的最大值，通过调整kylin_job_conf_inmem.xml文件中的mapreduce.map.memory.mb参数，将内存请求从3072MB降低到1024MB，成功解决了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Kylin Build执行到底17步时报错：17 Step Name: Build Cube In-Mem ，错误截图如下：

点左下角的MRJob图标，打开查看错误信息：

从MRJob中的描述中可见详细的错误信息：

The required MAP capability is more than the supported max container capability in the cluster. Killing the Job. mapResourceRequest: <memory:3072, vCores:1> maxContainerCapability:<memory:1024, vCores:2>
Job received Kill while in RUNNING state.

说的很明确，需要的内存量是3072，但是最大能提供的内存量只有1024，这两个值改那个都可以，只要能匹配上就行。

问题排查：

从kylin的配置目录中找到kylin_job_conf_inmem.xml（路径：/usr/local/apps/kylin/conf/）

发现这个map的内存最大请求为3072，和上面MRJob中的报错信息一致，把这个最大请求改成1024即可。

 <!--Additional config for in-mem cubing, giving mapper more memory -->
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
        <description></description>
    </property>

改成1024，重新Build，Success!