Mrknowledge

组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS ...

堆栈信息：java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:2528...

用户操作文件的权限检查器——PermissionChecker在HDFS中，也提供了类似于linux文件系统中的文件操作权限管理功能，当我们在HDFS中创建一个文件/目录的时候，一般会为这个文件/目录附加对应的创建者、操作权限码。这里的操作权限码与linux中文件操作模式是完全一样的，如：0x777。那么，当一个客户端在对一个文件/目录进行操作(创建一个文件，读、写文件等)之前，先要对这个

当向HDFS上写文件时，可以通过设置dfs.block.size配置项来设置文件的block size，这导致HDFS上不同文件的block size是不同的。有时候我们需要知道HDFS上某个文件的block size，比如想知道该该文件作为job的输入会创建几个map等。Hadoop FS Shell提供了一个-stat选项可以达到目的。官方文档描述这个选项时遗漏了可选参数。-stat选项的使用

Uber模式是Hadoop2.0中实现的一种针对MR小作业的优化机制。即如果作业足够小，则所有task在一个jvm（mrappmaster）中完成要比为每个task启动一个container更划算。下面是该机制的相关参数，这些参数均为客户端配置。总开关mapreduce.job.ubertask.enable 默认值：false作业规模条件mapreduce.job.u

最近要对hdfs上空间使用和文件结点使用增加报警，当超过一定的限额的时候就要发报警好通知提前准备。第一个数值2表示/sunwg下的文件夹的个数，第二个数值1表是当前文件夹下文件的个数，第三个数值108表示该文件夹下文件所占的空间大小，这个大小是不计算副本的个数的[sunwg]$ hadoop fs -count -q /sunwg 1024

使用hadoop dfadmin –report,结果如下：[grid@h1 hadoop]$ bin/hadoop dfsadmin-reportConfigured Capacity: 33518518272 (31.22 GB)Present Capacity: 17089126400 (15.92 GB)DFS Remaining:17088819200 (15.9

secondary namenoded 配置很容易被忽视，如果jps检查都正常，大家通常不会太关心，除非namenode发生问题的时候，才会想起还有个secondary namenode，它的配置共两步：     集群配置文件conf/master中添加secondarynamenode的机器     修改/添加 hdfs-site.xml中如下属性： dfs.http.ad

目前环境说明：主机名       IP地址            用途Hadoop1     192.168.3.65      namenode、jobtrackerhadoop2     192.168.3.66      datanode、tasktrackerhadoop3     192.168.3.67      datanode、tasktracker、seconda

Question:Is staging still used in hdfs when writing the data? This doubt arose when I was going through the hdfs documents. ref :http://hadoop.apache.org/hdfs/docs/current/hdfs_design.html#Stagin

环境说明：主机名       IP地址            用途master      192.168.5.54      namenode、jobtrackerslave1      192.168.5.56      datanode、tasktrackerslave2      192.168.5.57      datanode、tasktrackerslave3  

Question:could anyone let me know how to fix missing replicas?============================================================================Total size: 3447348383 BTotal dirs: 120Total files:

要了解Hadoop Backup Node，要从Namenode的元数据说起。我们都知道Namenode的元数据非常重要，如果元数据损坏，所有存储在datanode中的数据都读不出来了。另外，如果Namenode的元数据比较大，那么集群的启动速度非常慢。为了解决这两个问题，Hadoop弄了一个Secondary Namenode。Namenode的元数据：Hadoop Namenode

On hadoop0.23.0 release there is no conf/masters file where we used to specify the host address where secondary name node needs to start.The documentation for 0.23 is a bit sparse and I had to dig

首先 dfs.replication这个参数是个client参数，即node level参数。需要在每台datanode上设置。其实默认为3个副本已经够用了，设置太多也没什么用。当更改dfs.replication配置后，会对之后的文件副本数生效，之前的需要自己手动修改，也可以不修改，不需要重启集群或节点。一个文件，上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数

sudo addgroup hadoop#添加一个hadoop组sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组sudo gedit etc/sudoers#将hadoop组加入到sudoer在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL修改hadoop目录的权限sudo chown -R

案例之一：eBay的Hadoop环境eBay分析平台开发小组的Anil Madan讨论了这家拍卖行业的巨擘在如何充分发挥Hadoop平台的强大功能，充分利用每天潮水般涌入的8TB至10TB数据。虽然eBay只是几年前才开始向生产型Hadoop环境转移，但它却是早在2007年就率先开始试用Hadoop的大规模互联网公司之一，当时它使用一个小型集群来处理机器学习和搜索相关性方面的问题。这些涉及

Question:How do I override the default log4j.properties in hadoop? If I set the hadoop.root.logger=WARN,console, it doesnot print the logs on the console, whereas what I want is that it shouldn't

Question:In hadoop ecosystem we have NameNode and SecondaryNameNode,NameNode is responsible to managing all data available in cluster, So my question is whenNameNode goes down how ecosystem repl

本文介绍了YARN中historyServer的原理和配置HistoryServer的原理简介下图展示了historyServer的数据流向图.解释:1. NodeManager在启动的时候会初始化LogAggregationService服务, 该服务会在把本机执行的container log (在container结束的时候)收集并存放到hdfs指定的目录下.2. Ap

refer:https://discuss.pivotal.io/hc/en-us/articles/202296718-How-to-Change-Hadoop-Daemon-log4j-propertiesRefer to the following Java Docs for log4j and sample configuration params quick refe

refer:http://www.cnblogs.com/zhwbqd/p/3957018.html最近在研究Zookeeper Storm Kafka, 顺便在本地搭了一套集群, 遇到了Zookeeper日志问题输出路径的问题, 发现zookeeper设置log4j.properties不能解决日志路径问题, 发现解决方案如下:1. 修改log4j.propert

背景介绍：近期，不少datanode节点的磁盘IO比较高，主要原因还是由于job数量的增多，以及规模的增大。但任何可以降低磁盘IO消耗的手段，我们都可以尝试一下。比如，我们经常可以看到hdfs用户在执行"du -sk"命令：[root@idc1-server2 ~]# ps -ef| grep "du -sk"1hdfs     17

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。组件Daemon端口配置说明

转载请标明出处：http://blackwing.iteye.com/blog/1949154 不少公司为了安全，hadoop、hbase集群都是不对外开放，只有一台入口机对外，那么当要查看hadoop、hbase集群机器状态等信息时，就没办法了。 而要实现内网机器给外网访问，要解决的问题是： 1.hadoop、hbase页面上的url替换成外网能访问的url 2.通过有限

======refer:http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-capacity-scheduler/======Capacity Scheduler是YARN中默认的资源调度器。想要了解Capacity Scheduler是什么，可阅读我的这篇文章“Hadoop Capac

官网的文档[HDFSHighAvailabilityWithQJM.html]和[HdfsRollingUpgrade.html]（Note that rolling upgrade is supported only from Hadoop-2.4.0 onwards.）很详细，但是没有一个整体的案例。这里整理下操作记录下来。关闭所有的namenode，部署新版本的hadoop启

部署2.6.31234567891011121314[hadoop@hadoop-master1 ~]$ tar zxvf hadoop-2.6.3.tar.gz [hadoop@hadoop-master1 ~]$ cd hadoop-2.6.3/share/[hadoop@hadoop-master1 share]$ rm

参照《Hadoop升级(HA) 2.2升级到2.6》改变第3步骤：一、升级namenode的时候，指定clusterid，并在主namenode上执行即可hdfs namenode -upgrade -clusterid CID-7a2161ec-ba1c-42d8-9f7b-d8a6c4c7df0ds二、热备namenode通过主namenode同步附

调整master节点或者slave节点的日志级别日志库将日志分为5 个级别，分别为DEBUG、INFO、WARN、ERROR 和FATAL。这5 个级别对应的日志信息重要程度不同，它们的重要程度由低到高依次为DEBUG  浏览器中输入：“http://:50070/logLevel”第一行用于获取class log level，举例：可以输入"org

Question:What is the maximum number of files and directories allowed in a HDFS (hadoop) directory?Answer:The blocks and files are stored in a HashMap. So you are bound to Integer.MAX_VALUE. So a

Snappy是一个压缩/解压缩库。它的压缩率并非最高，但是它在保证一定压缩率情况下，压缩及解压缩速度非常快。基于以上特点，Snappy非常适合用于Hadoop MapReduce中间数据压缩。Snappy详情参见：http://code.google.com/p/snappy/。 本文将介绍如何在Hadoop2中启用Snappy压缩。1、下载Snappy的rpm包：http://www.r

1、HDFS本身没有提供用户名、用户组的创建，在客户端调用hadoop 的文件操作命令时，hadoop 识别出执行命令所在进程的用户名和用户组，然后使用这个用户名和组来检查文件权限。 2、hadoop的文件权限同linux的用户权限管理机制相同，读写执行，分为 自己 、同一组、alluser 权限层，且有chmod  和  chown相应的操作 。 3、关于web界面中对于权限，w

当用户上传数据到HDFS上时经常会出现这个错误hdfs.DFSClient:Exception in createBlockOutputStream java.net.NoRouteToHostException:No route to host这种情况网上的解决办法 通常是告诉要关闭防火墙，至于 关于哪台主机 的防火墙并没提。查看日志文件，只说是No route to host没有提端口

There are several technical limits to the NameNode (NN), and facing any of them will limit your scalability.1. Memory. NN consume about 150 bytes per each block. From here you can calculate how much

Question:I would like to add/update the following parameter mapred.map.tasks.speculative.execution false in mapred-site.xml in hadoop. How can I do this without restarting the cluster?

hadoop fs -du [URL] 显示显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。

启动hadoop，但ssh 端口不是默认的22怎么样？好在它可以配置。在conf/hadoop-env.sh里改下。如： export HADOOP_SSH_OPTS="-p 1234"

REFER：------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Metrics collection with HadoopOpsIn this topic we talk about how to set up your Hadoop deployment to correctly collect metrics with the Splunk app for HadoopOps. We identify some of the root causes