单机hadoop 安装部署

单机hadoop 安装部署

单机（本地）安装（standalone mode）：部署在一台机器上，没有分布式不使用hdfs，主要用于本地开发和调试。

伪分布式安装（pseudo-distributed mode）：一台机器上运行所有的hadoop 服务，每个hadoop守护进程都是一个独立的jvm进程，常用于调试。

全分布式模式（fullil distributed mode）：运行于多台机器的的真实环境模式。

1、jdk

1.1安装Jdk

解压jdk压缩包

vi  /etc/profile   
##jdk config
export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin
source /etc/profile  #生效 

1.2 CentOS 自带jdk
虽然CentOS自带了JAVA，但是/etc/profile 环境变量没有配置java_home，hadoop后期无法调用，所以仍需手动配置JAVA_HOME，查找本机JAVA_HOME

which java #查找java 根据提示路径，查找是否存在链接，通过链接最终查到下图所示路径
java_home为/usr/lib/jvm/jre-1.8.0-openjdk/
vi /etc/profile #配置
source /etc/profile #生效

2安装hadoop

上传到/usr/hadoop 下 解压hadoop -3.2.0

tar -zxvf  hadoop-3.2.0.tar.gz

配置环境变量 /etc/profile 末尾添加内容：

#hadoop config

export HADOOP_HOME=/usr/hadoop/hadoop-3.2.0

export  PATH=$PATH:/usr/hadoop/hadoop-3.2.0/bin

以root用户让配置生效

source /etc/profile

测试是否安装配置成功

输入hadoop查看：

配置hadoop中的jdk安装路径（修改为自己安装jdk）
把 # 放开，配置JDK为自己现用的路径（echo #JAVA_HOME）

#测试mapreduce程序：

在usr目录下创建目录data，data下创建目录input（此处目录自己随便命名，只要使用一致就行）

mkdir -p /usr/data/input

把hadoop配置文件全部copy过来，作为mapreduce的输入文件

cp /usr/hadoop/hadoop-3.2.0/etc/hadoop/*.xml /usr/data/input/

在hadoop目录下执行命令测试mapreduce：

/usr/hadoop/hadoop-3.2.0/bin/hadoop jar /usr/hadoop/hadoop-3.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar grep /usr/data/input/ /usr/data/output 'dfs[a-z.]+'

可以根据下面的过程看mapreduce执行过程

单机部署已经结束