jdk建议使用JDK1.8.11 Tar hadoop.tar.gz建议使用Hadoop2.7.3
配置环境变量
-
cd /usr/soft/
-
tar -zxvf hadoop-2.7.3.tar.gz
-
vi /etc/profile
进入配置环境变量,把下面的粘贴进去后保存退出
export HADOOP_HOME=/usr/soft/hadoop-2.7.3
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
配置hadoop伪分布式模式
总共需要修改:
Core-site.xm(文件系统核心)
Hdfs-site.xm(配置副本数伪分布式副本个数(伪分布只有1个副本,完全分布最少3个))
Yarn-site.xm(设置站点名称 和 辅助节点管理)
mapred-site.xml(设置映射化简模型框架为yarn)
-
开始配置整个文件系统的核心,整个文件系统要启动起来全靠这个
Core-site.xm
找到这个文件并修改它
<property> <name>fs.defaultFS</name> <value>hdfs://192.168.1.11:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/soft/hadoop-2.7.3/tmp</value> </property>
步骤含义:fs就是非欧c s ting 的英文缩写(是他的专用属性)默认址文件系统;(就是我当前要开启的是文件系统,讲白了就是我要写文件,要做个盘出来,这个盘呢用的是远程地址,因为将来这个主机不一定在你这,可能在别人那)默认开放端口是9000端口,ip地址根据Linux实时的IP地址来定;