2021-05-10 hadoop1.0的安装

hadoop1.0的安装

安装

将hadoop安装包放到/root/目录里

解压
先用

ll /root

查看目录中是否有安装包
然后解压

tar -zxvf hadoop-1.2.1.tar.gz

等待一会

。。。。。。。

ll /root

查看是否解压好

保险起见
在虚拟机当中做个快照，防止之后出错可以弥补

添加软链

补充知识点
Linux ln（英文全拼：link files）命令是一个非常重要命令，它的功能是为某一个文件在另外一个位置建立一个同步的链接。

当我们需要在不同的目录，用到相同的文件时，我们不需要在每一个需要的目录下都放一个必须相同的文件，我们只要在某个固定的目录，放上该文件，然后在
其它的目录下用ln命令链接（link）它就可以，不必重复的占用磁盘空间。
必要参数：

-b 删除，覆盖以前建立的链接
-d 允许超级用户制作目录的硬链接
-f 强制执行
-i 交互模式，文件存在则提示用户是否覆盖
-n 把符号链接视为一般目录
-s 软链接(符号链接)
-v 显示详细的处理过程

ln -sf /root/hadoop-1.2.1 /home/hadoop1.2

进入conf（设置4个文件）

cd /home/hadoop1.2/conf

标题编辑core-site.xml文件

vi core-site.xml

编辑前

编辑后

<property>
         <name>fs.default.name</name>
         <value>hdfs://bg01:9000</value>
     </property>
 <property>
         <name>hadoop.tmp.dir</name>
         <value>/opt/hadoop1.2</value>
     </property>

注：格式化的时候目录会自动生成/opt/hadoop1.2

编辑hdfs-site.xml文件

vi hdfs-site.xml

编辑前

编辑后

 <property>
         <name>dfs.replication</name>
         <value>2</value>
     </property>

修改 hadoop-env.sh文件的jdk位置(绿色箭头那行)

vi hadoop-env.sh

修改slaves文件

vi slaves

把文件里改成

bg02
bg03

一共修改了这四个文件

把hadooop复制到bg02，bg03

 scp -r /root/hadoop-1.2.1 root@bg02:~/
 scp -r /root/hadoop-1.2.1 root@bg03:~/

分别在bg02，bg03加软链

ln -sf /root/hadoop-1.2.1 /home/hadoop1.2

配置hadoop

vi /etc/profile

文件最后添加

export HADOOP_HOME=/home/hadoop1.2
export PATH=$PATH:$HADOOP_HOME/bin

profile复制给bg02,bg03

scp /etc/profile root@bg02:/etc/profile
scp /etc/profile root@bg03:/etc/profile

使profile在bg01,bg02,bg03中生效

source /etc/profile

关闭bg01,bg02,bg03防火墙！！！！！！！

chockconfig iptables off //永久关闭防火墙
service iptables stop //临时关闭防火墙

进入hadoop 的bin目录里

cd /home/hadoop1.2/bin/

集群启动

格式化一个新的分布式文件系统：

./hadoop namenode -format

启动hadoop集群

start-dfs.sh

浏览器中打开bg01:50070

点击Browse the filesystem

待更新

关闭hadoop集群

stop-dfs.sh

浏览器中打开bg01:50030

进入conf（hadoop停止情况下）

cd /home/hadoop1.2/conf

修改mapred-site.xml中添加

vi mapred-site.xml

<property>
<name>mapred.job.tracker</name>
<value>bg01:9001</value>
</property>

把mapred-site.xml复制到bg02，bg03中

scp mapred-site.xml root@bg02:/root/hadoop-1.2.1/conf/mapred-site.xml
scp mapred-site.xml root@bg03:/root/hadoop-1.2.1/conf/mapred-site.xml

启动hadoop集群

start-all.sh

浏览器打开bg01:50030