xsm1988的专栏

1、新建用户和组addgroup hadoopadduser --ingroup hadoop hadoop注销root以hadoop用户登录 2、配置SSHssh-keygen -t rsa（密码为空，路径默认）cp .ssh/id_rsa.pub .ssh/authorized_keys 3、准备HADOOP运行环

优快云 ：http://subject.youkuaiyun.com/hadoop/apache中文网址：http://hadoop.apache.org/common/docs/r0.19.2/cn/quickstart.html

首先看下官网的东西，大概有个轮廓见下图：1 agent  这个是部署在每台datanode 和 namenode机器上的因为他们需要监控自己机器的性能日志，将他发送到collector 去的，所以后面需要配置【collectors】这个文件。agent的运行机制很简单，其实他也是在本机运行了多个socket.accept(); （可以使用telnet localhost 909

安装完hadoop1.0.1，start-all.sh命令运行后，如果日志中提示如下信息：log4j:ERROR Could not connect to remote log4j server at [localhost]. We will try again later.这个是因为配置的本地agent还没有启动，日志文件不能写到log4j服务器（agent监听端口），只启动ha

1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。        /etc/security/limits.conf

1、三台机器host2(NameNode、SecondaryNameNode、JobTracker、DataNode、TaskTracker)host6(DataNode、TaskTracker)host8(DataNode、TaskTracker)vi  /etc/hostname（分别给每一台主机指定主机名）vi  /etc/hosts（分别给每一台主机

Hadoop启动时正常，但登录http://namenode:50030,页面中一直显示state：INITIALIZING。查看namenode的日志有如下异常抛出：INFO org.apache.hadoop.ipc.Server: IPC Server handler 1 on 9000, call delete(/home/hadoop/tmp/mapred/system, tru