配置Hadoop集群的log目录

配置log目录首先在Hadoop软件包里面创建 logs目录，用 pwd 命令得到logs的文件路径，复制到配置文件中（自定义logs目录，为了方便在集群启动失败时查看日志，查找原因）

涉及到Hadoop 日志存储位置的共有三个地方的配置文件，分别是
/etc/Hadoop/conf/hadoop-env.sh
/usr/lib/hadoop/libexec/hadoop-config.sh
/etc/default/hadoop
该三处文件的起作用的优先级分别是Hadoop-env.sh > Hadoop-config.sh > /etc/default/Hadoop
所以修改hadoop日志存储位置，就有了三种方式

• 方式一：在Hadoop-env.sh 中修改
  因在cloudera集成的 Hadoop中，Hadoop-env.sh 在/etc/Hadoop/conf 目录下已不存在，可以新建hadoop-env.sh
  在其中添加内容：

    export HADOOP_LOG_DIR=/mnt/disk1/hadoop-hdfs    # 指向自定义的路径

• 方式二：
  修改 usr/lib/hadoop/libexec/hadoop-config.sh

 #default log directory & file
 if [ "$HADOOP_LOG_DIR" = "" ]; then
   HADOOP_LOG_DIR="$HADOOP_PREFIX/logs"
 fi

• 方式三：
  修改 /usr/default/ 的相关文件 （hadoop-hdfs-namenode、hadoop-hdfs-datanode、 hadoop-mapreduce-historyserver、hadoop-yarn-nodemanager、 hadoop-yarn-resourcemanager）
  1）修改hadoop-hdfs-namenode 将如下的两项修改为自己自定义的路径
  export HADOOP_LOG_DIR=/mnt/disk1/hadoop-hdfs
  export HADOOP_PRIVILEGED_NFS_LOG_DIR=/mnt/disk1/hadoop-hdfs
  2）修改hadoop-hdfs-datanode
  export HADOOP_LOG_DIR=/mnt/disk1/hadoop-hdfs
  export HADOOP_PRIVILEGED_NFS_LOG_DIR=/mnt/disk1/hadoop-hdfs
  3） 修改 hadoop-mapreduce-historyserver
  export HADOOP_MAPRED_LOG_DIR=/mnt/disk1/hadoop-mapreduce
  export HADOOP_LOG_DIR=/mnt/disk1/hadoop-mapreduce
  4）修改 hadoop-yarn-nodemanager
  export YARN_LOG_DIR=/mnt/disk1/hadoop-yarn
  5）修改 hadoop-yarn-resourcemanager
  export YARN_LOG_DIR=/mnt/disk1/hadoop-yarn
  有关yarn的日志配置，还需检查下/etc/Hadoop/conf/yarn-site.xml 的配置文件，有些人也会直接在这里面配置yarn的日志路径
  最后，在自定的路径下，新建三个文件夹
  mkdir hadoop-hdfs
  mkdir hadoop-yarn
  mkdir hadoop-mapredcue
  修改文件夹的属性
  chown yarn:hadoop hadoop-yarn
  chown hdsf:hadoop hadoop-hdfs
  chown mapred:hadoop hadoop-mapreduce
  必要时：也可以分别将文件权限修改为 chmod 777 hadoop-yarn
  最后重启服务验证：
  service hadoop-hdfs-namenode restart
  service hadoop-hdfs-datanode restart
  service hadoop-yarn-resourcemanager restart
  service Hadoop-yarn-nodemanager restart
  service Hadoop-mapreduce-historyserver -restart