配置原生hadoop2.7版

• 配置hostname等
• 装JDK并配置环境变量
• 关闭防火墙
• 无密码登陆
• 解压hadoop2.7并配置环境变量
• 配置core-site.xml
• 配置hdfs-site.xml
• 配置yarn-site.xml
• 初始化hdfs
• 开启hdfs，yarn等服务

---

配置hostname等

第一个是主机名，之后两个vi里也对应改上主机名。

hostname ydbmaster
vi /etc/sysconfig/network
vi /etc/hosts

装JDK并配置环境变量

将jdk加压到指定目录，我的是/opt/ydbmaster
配置环境变量，在/etc/profile  里配置如下
JAVA_HOME=/opt/ydbsoftware/jdk1.8.0_60
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH

关闭防火墙

iptables -P INPUT ACCEPT
iptables -P FORWARD ACCEPT
iptables -P OUTPUT ACCEPT
chkconfig iptables off
/etc/init.d/iptables stop
iptables -F

无密码登陆

ssh-keygen执行时全部默认回车

ssh-keygen
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

解压hadoop2.7并配置环境变量

解压到指定目录后，
配置hadoop-env.sh
vi /opt/ydbsoftware/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
将下列写入到最后一行，DIR的地址要手动创建下
export JAVA_HOME=/opt/ydbsoftware/jdk1.8.0_60
export HADOOP_LOG_DIR=/data/log/hadoop
export HADOOP_PID_DIR=/var/run/hadoop
保存后退出vi模式，用cat查看下
cat hadoop-env.sh | grep JAVA_HOME
cat hadoop-env.sh | grep HADOOP_LOG_DIR
cat hadoop-env.sh | grep HADOOP_PID_DIR

配置core-site.xml

之前在hosts里已经配置过ip和主机名，所以之后有关主机名的地方全改成本几名即可，tmp是临时工作目录，会定期清理所以不要放到tmp文件夹下，推荐放到data盘中。
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://master</value>
</property>

<property>
  <name>hadoop.tmp.dir</name>
  <value>/data/tmp/hadoop</value>
</property>

配置hdfs-site.xml

namenode和datanode还有namenode.checkpoint的目录也要放到data盘上。
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/data/hadoop/hdfs/nn</value>
</property>

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data/hadoop/hdfs/dn</value>
</property>

<property>
  <name>dfs.namenode.checkpoint.dir</name>
  <value>/data/hadoop/hdfs/sn</value>
</property>

<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>master:50090</value>
</property>

配置yarn-site.xml

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>master</value>
</property>

<property>
  <name>yarn.nodemanager.log-dirs</name>
  <value>/data/log/yarn/userlogs</value>
</property>

<property>
  <name>yarn.nodemanager.local-dirs</name>
  <value>/data/tmp/hadoop/nm-local-dir</value>
</property>

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>4096</value>
</property>

<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>4</value>
</property>

<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>32</value>
</property>

<property>
  <name>yarn.scheduler.maximum-allocation-mb</name>
  <value>4096</value>
</property>

<property>
  <name>yarn.scheduler.minimum-allocation-vcores</name>
  <value>1</value>
</property>

<property>
  <name>yarn.scheduler.maximum-allocation-vcores</name>
  <value>4</value>
</property>

<property>
  <name>yarn.nodemanager.pmem-check-enabled</name>
  <value>false</value>
</property>

<property>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <value>false</value>
</property>

初始化hdfs

bin/hdfs namenode -format

开启hdfs，yarn等服务

sbin/start-dfs.sh

sbin/start-yarn.sh

sbin/mr-jobhistory-daemon.sh start historyserver
或sbin/start-all.sh

http

我的地址是
ydbmaster:50070 NameNode

ydbmaster：8088 yarn