linux hadoop 2.7 伪分布式安装简单几步实现

最新推荐文章于 2022-10-04 16:30:36 发布

原创最新推荐文章于 2022-10-04 16:30:36 发布 · 777 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #ubuntu #64bit #伪分布式 #linux

linux 专栏收录该内容

18 篇文章

订阅专栏

本文指导如何在Ubuntu系统上安装JDK、SSH及Hadoop，并配置核心参数，最终验证安装成功。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本机配置

1. ubuntu 64bit

2. hadoop 2.7.1

Contents

1.安装jdk

2.安装ssh

3.安装hadoop

Steps

1.安装jdk

a)下载这个网址中跟自己操作系统相对应的jdk版本：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260.html 我选择的是jdk-7u79-linux-x64.tar.gz。

b)解压后移动到/opt目录下

sudo tar -zxvf jdk-7u79-linux-x64.tar.gz

mv jdk1.7.0_79 /opt

c)编辑/etc/profile配置jdk环境变量

vim /etc/profile

按i进入插入模式，在文件末尾添加

# set java jdk path
export JAVA_HOME=/opt/jdk1.7.0_79 
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin 
export JRE_HOME=/opt/jdk1.7.0_79/jre
export PATH=$PATH:$JRE_HOME/bin

保存后，在命令行中输入source /etc/profile回车就能保存jdk的配置

d)检查jdk安装是否成功

运行javac -version查看：

couragek@couragek:~/下载$ javac -version
javac 1.7.0_79

-------------------------------------------------------------分割线---------------------------------------------------------------------------------

2.安装ssh

a)在终端中输入命令:

sudo apt-get install ssh openssh-server

b)创建ssh-key，采用rsa方式：

ssh-keygen -t rsa -P ""

c)无密码登陆ssh:

ssh localhost

-------------------------------------------------------------分割线---------------------------------------------------------------------------------

3.安装hadoop

a)下载hadoop安装包，可直接采用命令，如下：

wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz

b)解压缩hadoop安装包，如下：

sudo tar -zxvf hadoop-2.7.1.tar.gz

c)配置hadoop文件夹中的配置文件，所有文件位于hadoop2.7.1/etc/hadoop下：

I) core-site.xml

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>

II) mapred-site.xml.template

<pre name="code" class="html"><configuration>
	<property>
		<name>mapred.job.tracker</name>
		<value>localhost:9001</value>
	</property>
</configuration>

III) hdfs-site.xml

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

IV) hadoop-env.sh，在该文件中添加下面一行：

export JAVA_HOME=/opt/jdk1.7.0_79

d) 运行hadoop

I) 初始化hdfs系统

在hadoop2.7.1目录下输入如下命令：

bin/hdfs namenode -format

II) 开启namenode和datanode守护进程：

sbin/start-dfs.sh

III) 查看进程信息，采用命令jps，如下所示：

couragek@couragek:~/hadoop-2.7.1$ jps
2814 NameNode
3298 Jps
3177 SecondaryNameNode
2977 DataNode

IV) 查看web UI，在浏览器中输入网址： http://localhost:50070，如下所示：

4.参考文献

http://www.tuicool.com/articles/bmeUneM

http://www.linuxidc.com/Linux/2015-10/123983.htm

http://hadoop.apache.org/docs/r1.0.4/single_node_setup.html