forerunner123的博客

job提交后，需根据参数启动Mapper、Reducer任务，–那么Map task 的个数怎么设置如果Map task过多，即每个任务处理一小部分数据并生成一个中间文件，将引起IO过多，文件过多；如果Map task过少，则并行度过低，不能有效利用集群资源，处理时间长；影响Map task个数的因素有三个：（1）读取的文件个数：默认情况下一个文件起始会启动一个map task但是当有许多小文件时，如每个文件5M，单独启动一个task消耗过大对于hive可通过设置hive参数将低于128M的..

yarn在该节点上可使用的物理内存总量，默认是8192（MB）注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。<property> <description>Amount of physical memory, in MB, that can be allocated for container...

系统基本配置CM搭建集群大小：测试集群机器数量：5 台 - 10 台机器配置：>> 内存：24 G / 32 以上>> 硬盘：4 TB 以上>> CPU 核：6 核CPU 以上>> 网卡：万兆生产集群>> 小型集群20 台以下>> 中型机群50 台以下>> 大型机群50 ...

一、pom.xml <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.5.0</version> </dep...

从MR的运行机制可知，map数量受split（map输入数据块大小）影响，reduce数量受partition（map shuffle输出）影响。1.map数量设置hadoop并没有直接提供设置map数量的参数，而是通过调整split块大小调整，通过调整hadoop2.x mapreduce.input.fileinputformat.split.maxsize和mapreduce.input...

转载自http://blog.youkuaiyun.com/lsr40/article/details/77868113

hdfs安全模式是hadoop的一种数据保护机制，当进入安全模式时，集群处于只读不写的状态，此时集群不允许客户端进行任何修改文件的操作，包括上传文件，删除文件，重命名，创建文件夹等。1. 进入安全模式存在3种情况会遇到安全模式：1、开启namenode会自动进去安全模式，此时集群启动加载配置文件和fsimage和edtis，加载datanode和块信息，一般等集群校验完数据后会自动退出2、...

Hadoop2.x环境搭建你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。一、Linux环境1. 修改主机名 $ vi /etc/sysconfig/network $ cat /etc/sysconfig/network2. 主机映射# vi /etc/h...