Enche的博客

Hadoop中副本在不同节点之间的复制需要消耗资源，为了充分发挥Hadoop的性能，Hadoop需要配置机架感知，这可以让Hadoop通过网络拓扑图计算不同节点之间的距离，因此来减少数据传输消耗的资源。通过Hadoop官网我们知道，不配置机架感知，所有的都默认为/default-rack，可以通过命令hadoop dfsamin -printTopology来查看Hadoop的网络拓扑情况。...

学习记录namenode：主要是管理hdfs集群中的datanode，负责数据块的存储地址位置等，例如：Client上传文件时，namenode他会将该文件块在集群上将要存放的位置告知Client，然后Client得到地址信息后，将数据块上传至对应的位置。每次集群启动时，namenode都要加载fsimage和edtis日志，fsimage相当于namenode的快照，edits中保存着hdf...

secondary namenode会定期将fsimage和edits从namenode上拉取进行合并，且在在secondary nemenode上有副本，当namenode节点损坏后，我们可以通过这些副本来还原一定程度上的namenode。还原namenode有两种方法：一、将secondary namenode上的数据复制到namenode上二、使用 测试使用方法一进行恢复...

secondary namenode在合并namenode上的fsimage和edits的动作是达到某种条件时才会进行的，一般为到某个时间点或者操作次数达到某个特定的值时会进行checkpoint 在配置checkpoint条件时，需要在hdfs-site.xml进行设置1、每隔3600秒执行一次<property>  <name>dfs.namenod...

1、导入相关jar包。将Hadoop目录下的share中的jar包导入到Eclipse2、创建配置信息对象并通过FileSysem.get()回复文件系统对象Configuration conf = new Configuration();//URI对应的地址为core-site.xml中fs.defaultFS对应的地址//“enche”是访问hdfs时的用户名F...

MapReduce由Mapper和Reucer组成，Mapper负责处理每行数据，Reducer处理相同Key的一组数据。MapReduce运行是由Driver中的job通过submit()进行作业提交，submit()包含与集群建立连接和提交作业的过程，在提交作业时会进行切片，默认的切片方法是使用的TextInputFormat，它进行切片时根据文件的大小进行切割，默认切割规则是否达到...

记录一、在搭建Namenode HA后，需要先启动journalnode，然后进行namenode format，在启动第二台namenode时需要先向元数据拉取到第二台namenode中，使用 hdfs haadmin -bootstrapStandby进行拉取，不然启动第二台namenode时会出现org.apache.hadoop.hdfs.server.common.Inconsist...