quitozang的博客

**主类WordCount** package com.hadoop;import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; im

1.在hdfs-site.xml中添加<property> <name>hadoop.tmp.dir</name> <value>/home/zangtt/hadoop-1.2.1/tmp</value> <description>A base for other temporary directories</description> </property>并删除tmp目录下的文

NameNode（管理者）：管理文件系统的命名空间，维护元数据镜像文件fsimage（磁盘）和操作日志文件edit logs。 问题： edits文件在集群运行过程中不断增加，占用更过内存； NameNode重启会进行edits文件的合并，namenode重启时间过长； namenode宕机，恢复的fsimage数据很旧，造成数据丢失。   Secondary NameNode 解决...

写文件： client向远程NameNode发起RPC请求； NameNode检查文件是否存在，成功则为文件创建一个记录； client根据block size将文件切分成多个packets，并以“data queue”的形式进行管理，另外获取block的replication数； 以pipeline的形式将packets写入所有的replication中，先写入第一个DataNode，该...