hadoop伪分布式配置

最新推荐文章于 2025-06-02 18:18:04 发布

原创最新推荐文章于 2025-06-02 18:18:04 发布 · 641 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #配置

linux技术专栏收录该内容

65 篇文章

订阅专栏

本文详细介绍了如何在CentOS7.0操作系统上安装并配置Hadoop2.6.0，包括环境配置、SSH免密码登录设置、JDK安装与配置、Hadoop配置文件修改等内容。

操作系统：CentOS 7.0

hadoop版本：2.6.0

环境配置：

1.ssh免密码登陆：

ssh-keygen -t rsa，然后一路回车

cd ~/.ssh

cp id_rsa.pub authorized_keys

2.安装jdk

先卸载CentOS预装的openjdk

yum remove java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64

然后安装从oracle下载的jdk，

rpm -i jdk-8u25-linux-x64.rpm

3.环境变量设置

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_25
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

hadoop配置：

1.下载hadoop源码包hadoop-2.6.0.tar.gz，放到/usr/local下，解压，修改名字

tar -xzvf hadoop-2.6.0.tar.gz

mv hadoop-2.6.0 hadoop

2.修改hadoop配置文件

1). hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_25

2). core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
<description>change to your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

创建文件夹:

mkdir /usr/local/hadoop/tmp

3). hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

4). mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
<description>change to your own hostname</description>
</property>
</configuration>

3. 对hadoop进行格式化

hadoop namenode -format

4.启动hadoop

start-all.sh

使用jds命令查看hadoop进程是否启动。