hadoop环境配置

下载jdk后上传到centOS

然后进入到

/etc/profile.d/java.sh

添加路径:

JAVA_HOME=/usr/java/jdk1.7.0_79
CLASSPATH=$JAVA_HOME/lib;$CLASSPATH
PATH=$JAVA_HOME/bin;$PATH
export JAVA_HOME CLASSPATH PATH

source /etc/profile.d/java.sh

查看java环境变量是否配置成功:   

java -version

 关闭防火墙:
永久性生效:
chkconfig iptables off
临时性生效:
service iptables stop
查看防火墙状态:
service iptables status


安装ssh插件
yum -y install openssh-clients


配置ssh无密码验证
mkdir .ssh
生成密钥:
ssh-keygen -t rsa -P ""
生成私钥:
cat id_rsa.pub >> authorized_keys
cp id_rsa.pub authorized_keys


访问:
ssh xiaobai
第一次需要yes确认


可能需要安装wget:
yum -y install wget


安装64位hadoop:
wget http://hadoop.f.dajiangtai.com/hadoop2.2/hadoop-2.2.0-x64.tar.gz


解压压缩包
tar -zvxf hadoop-2.2.0-x64.tar.gz


改名:mv hadoop-2.2.0 hadoop


更改所有者:chown -R hadoop:hadoop hadoop


创建目录:
mkdir -p /data/dfs/name
mkdir -p /data/dfs/data
mkdir -p /data/tmp


更改目录权限:
chown -R hadoop:hadoop /data


进入到hadoop目录下:
cd hadoop/etc/hadoop


进入core-site.xml:
vi core-site.xml


添加属性在末尾:
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://xiaobai:8888</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/data/tmp</value>
        </property>
        <property>
                <name>hadoop.proxyuser.hadoop.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.hadoop.groups</name>
                <value>*</value>
        </property>
</configuration> 


进入hdfs-site.xml:
vi hdfs-site.xml


在文件末尾加入属性:
<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/data/dfs/name</value>
                <final>true</final>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/data/dfs/data</value>
                <final>true</final>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.permission</name>
                <value>false</value>
        </property>
</configuration>


进入到mapred-site.xml:
vi mapred-site.xml


在文件末尾加入属性:
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>


进入到yarn-site.xml
vi yarn-site.xml 


在文件末尾加入属性:
为nodemanager启动加载shuffle
<configuration>
<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>


修改slaves:
vi slaves


修改内容为:指定机器(我的为xiaobai)


进入到/etc/profile:
vi /etc/profile


在文件末尾添加hadoop环境变量路径:
HADOOP_HOME=/usr/java/hadoop
PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_HAME PATH


执行命令是配置文件生效:
source /etc/profile


进入到hadoop目录下: cd ../..


格式化namenode:
bin/hadoop namenode -format


启动集群: sbin/start-all.sh


查看进程:jps
1987 Jps
1778 NodeManager
1324 NameNode
1561 SecondaryNameNode
1428 DataNode
1689 ResourceManager


以管理员身份打开记事本,并打开hosts文件:
在最后加入你的ip地址
可以以webui访问文件系统