Hadoop学习（3）-Hadoop配置单机版

最新推荐文章于 2023-02-23 23:33:50 发布

抄经的和尚

最新推荐文章于 2023-02-23 23:33:50 发布

阅读量339

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/duomengwuyou/article/details/43406065

本文详细介绍Hadoop的安装配置过程，包括Ubuntu系统的安装、JDK环境配置、SSH免密码登录配置及Hadoop各配置文件详解等内容。文章还提供了一些常见问题的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

部分内容来自于博客;http://blog.youkuaiyun.com/huangcao5674/article/details/7801724 （链接1）谢谢原作者！

Hadoop配置主要有三部分内容：

（1）Ubuntu安装

（2）JDK配置

（3）SSH配置

（4）Hadoop配置

下面主要讲一些容易犯错的地方：

1、Ubuntu安装

可以下载ubuntu-14.04-desktop-i386.iso文件，百度即可，很多下载资源。可以安装双系统，也可以通过Vmware虚拟机来实现Ubuntu（通过虚拟机，效果也很棒）。

2、JDK配置

推荐下载：jdk-7u7-linux-i586.tar.gz，百度即可。JDK配置方法，可以参考：http://www.cnblogs.com/cloudwind/archive/2012/10/19/2731263.html，此处需要注意的问题，就是配置环境变量的位置，有的只是配置在了当前用户下面。建议按照链接网页中的方法配置。

3、SSH配置

按照链接1 中的方式配置SSH就可以，首先安装一下openssh-server。

需要注意的问题：

(1) 可能会遇到防火墙问题，关闭防火墙命令：ufw disable，删除防火墙：apt-get remove iptables

4、Hadoop配置

对其中的几个配置点进行简单的解释：

（1）hadoop-env.sh 环境变量设置因为hadoop是由java编写的，所以配置好JAVA_HOME

（2）core-site.xml 核心配置文件配置hdfs的访问路径以及端口

<property>   
  <name>fs.default.name</name>   
  <value>hdfs://localhost:9000</value>    
 </property>

（3）hdfs-site.xml 配置hdfs，设置备份方式

<property>   
  <name>dfs.replication</name>    
  <value>1</value>    
 </property>

（4）mapred-site.xml 配置JobTracker的地址以及端口

 <property>    
  <name>mapred.job.tracker</name>   
  <value>localhost:9001</value>    
 </property>

需要注意的几点问题：

（1）权限问题，运行hadoop namenode -format命令等时，可能无权操作相关文件夹下的文件，此时要修改文件夹的权限。

可以参考：http://www.cnblogs.com/avril/archive/2010/03/23/1692809.html

chown -R 用户组（或用户名）文件夹名 ---修改某文件夹下所有文件的拥有者

（2）可以查看hadoop的运行情况：

http://localhost:50030 MapReduce

http://localhost:50070 HDFS

(3) 连接1 中为了方便操作hadoop，新创建了hadoop用户，这个也是可以参考的，非常不错。