【hadoop学习】在Mac OS上配置hadoop伪分布式环境【下】

最新推荐文章于 2022-01-11 12:16:35 发布

最新推荐文章于 2022-01-11 12:16:35 发布 · 167 阅读

文章标签：

本文介绍如何在MacOS环境下配置SSH环境及免密码登录，下载安装Hadoop并进行必要的环境变量配置，包括JAVA_HOME、HADOOP_INSTALL等。同时详细介绍了core-site.xml、mapred-site.xml和hdfs-site.xml等关键配置文件的具体设置。

2. 配置mac os 自身环境

这个主要是配置ssh环境。先在terminal里面输入

ssh localhost

会有错误提示信息，表示当前用户没有权限。这个多半是系统为安全考虑，默认设置的。更改设置如下：进入system preference --> sharing --> 勾选remote login，并设置allow access for all users。再次输入“ssh localhost"，再输入密码并确认之后，可以看到ssh成功。

不过这里面还有一个麻烦，就是每次都会要求输入用户密码。《hadoop实战》提供了一种免登陆的方法。首先，输入

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

ssh-keygen表示生成秘钥；-t表示秘钥类型；-P用于提供密语；-f指定生成的秘钥文件。这个命令在”~/.ssh/“文件夹下创建两个文件id_dsa和id_dsa.pub，是ssh的一对儿私钥和公钥。接下来，将公钥追加到授权的key中去，输入：

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

ssh免登陆设置完成。

3. 安装并运行hadoop

首先下载hadoop，链接是http://apache.etoak.com/hadoop/common/，里面由hadoop的各个版本。看到书上用的是0.20.2版本，我也就下这个了。文件不大，135M左右。接下来，到 hadoop-0.20.2/conf 文件夹下，要配置的几个文件都在这里。

第一个是hadoop-env.sh脚本文件，设置如下环境变量：

export JAVA_HOME=/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home 
export HADOOP_INSTALL=/Volumes/Data/Works/Hadoop/hadoop-0.20.2/  
export PATH=$PATH:$HADOOP_INSTALL/bin

从名字都能判断各个环境变量的含义。需要说明的是，第一个路径，实际上是从”/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home“来的，只不过中间有些软连接，最后的实际目录如上面所示。

接下来是core-site.xml文件，配置hdfs的地址和端口号，如下：

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
<!-- Put site-specific property overrides in this file. -->  
  
<configuration>  
    <property>  
        <name>fs.default.name</name>  
        <value>hdfs://localhost:9000</value>  
    </property>  
</configuration>

默认是没有中间<property>区域的，需要自己加上。

然后是mapred-site.xml文件，设置map-reduce中jobtracker的地址和端口号，如下：

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
<!-- Put site-specific property overrides in this file. -->  
  
<configuration>  
  <property>  
    <name>mapred.job.tracker</name>  
    <value>localhost:9001</value>  
  </property>  
</configuration>

最后是hdfs-site.xml文件，设置hdfs的默认备份方式。默认值是3，在伪分布式系统中，需要修改为1，如下：

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
<!-- Put site-specific property overrides in this file. -->  
  
<configuration>  
  <property>  
    <name>dfs.replication</name>  
    <value>1</value>  
  </property>  
</configuration>

设置总算是完成了，接下来，格式化namenode。啊，namenode是啥？问度娘吧。在terminal里输入如下命令：