超级会员免费看
本文介绍了如何在Hadoop 3.x的YARN环境中配置生产环境的核心参数，以适应3台服务器，每台4G内存、4核CPU的情况。通过分析需求和服务器配置，调整了包括MapReduce任务数量、资源调度器、线程数、内存和CPU使用等参数，确保高效利用硬件资源，并给出了详细的配置步骤。
然后我们来,看个配置yarn 生产环境核心参数的案例
首先我们的需求就是,我们要统计1G数据中,每个单词出现的次数.
我们有3台服务器,然后每台配置4G,4核cpu,4线程.可以看到
然后就是去配置yarn的参数,按照我们实际的环境
我们先分析一下需求,可以看到,我们有1G的文件需要处理,那么
如果我们每个maptask用默认的处理128M的内容,那么需要8个MapTask 1个reducetask
1个 mr
订阅专栏 解锁全文
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
