安装前需要准备的东西:
1.一台客户机
2.安装虚拟机,并在虚拟机中配置好linux系统
3.下载jdk安装包(我用的jdk版本是jdk-8u201-linux-x64)
4.下载hadoop安装包 (我用的hadoop版本是hadoop-2.7.6)
5.下载SecureCRT(这个不是必需的,它只是一个远程连接服务器软件)
接下来让我们步入安装的进程吧:
将JDK及HADOOP安装包在linux中解压,放在名为java和hadoop的文件夹下,具体指令如下:
#jdk-8u201-linux-x64.tar.gz是我下载的jdk版本
tar -zxvf jdk-8u201-linux-x64.tar.gz
mv jdk-8u201-linux-x64 ./java
#hadoop-2.7.6.tar.gz是我下载的hadoop版本
tar -zxvf hadoop-2.7.6.tar.gz
mv hadoop-2.7.6 hadoop
配置环境变量,具体指令是:
vi /etc/profile
#在profile文件的末尾加上如下代码
#JAVA_HOME
export JAVA_HOME=/home/guohao/java
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#HADOOP_HOME
export HADOOP_HOME=/home/guohao/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#配置HADOOP_CONF_DIR
export HADOOP_CONF_DIR=/home/guohao/hadoop/etc/hadoop
然后让文件生效:
source /etc/profile
ps:我建议再在~/.bashrc中将上述指令加入进去,因为在我测试过程中会发现,如果不修改.bashrc,会发现在haoop配置好启用后,关闭服务器,再次启动会出现问题,需要重新再source /etc/profile。。。。建议一劳永逸...
接下来配置ssh免密码登录,,,这个需要提前在linux上安装openssh-server,当ssh服务安装好了后,会在home目录下生成一个.ssh文件
然后具体的操作是,cd到.ssh文件夹中执行如下指令:
ssh-keygen -t rsa # 看见提示,一通回车就行
$ cat id_rsa.pub >> authorized_keys
$ chmod 600 ./authorized_keys
然后免密登录就配置好啦,,,可以用ssh localhost指令进行验证
咳咳咳.....这下我们就要步入正题啦,对hadoop中的配置文件进行配置,,,要配置的文件呐,有6个,分别是:
core-site.xml,hadoop-env.sh,hdfs-site.xml,mapred-site.xml.template,slaves,yarn-site.xml
这个是core-site.xml的配置
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
Licensed under the Apache License, Versi