HDFS在Linux上的配置

最新推荐文章于 2024-09-06 22:01:25 发布

原创最新推荐文章于 2024-09-06 22:01:25 发布 · 455 阅读

1 ·

CC 4.0 BY-SA版权

本文详细介绍了在Linux CentOS7环境下，从环境搭建到配置SSH免密远程登录，再到JDK与Hadoop的安装及配置，最后启动Hadoop伪分布式集群的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

全部基于伪分布式（Pseudo-Distributed）进行学习 Linux环境搭建

1.环境搭建

（1）安装CentOS 7版本
（2）安装完成配置网卡信息
vi /etc/sysconfig/network-scripts/ifcfg-ens33
–最后一行的ONBOOT改为yes
（3）重启网络服务
systemctl restart
（4）关闭防火墙
systemctl stop firewalld --关闭防火墙
systemctl disable firewalld --禁止防火墙开机自启
（5）修改服务器的主机名（简化连接服务器的操作）
vi /etc/hostname
–删除原有的localhost 换成自定义主机名
（6）配置主机名和ip地址的映射关系
vi /etc/hosts
–在最后一行添加当前服务器ip地址和主机名的映射
–ip地址主机名
（7）测试是否能够通过主机名ping通
ping 主机名

2.配置ssh的免密远程登录

（1） ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa – 生成公钥和钥
（2） cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
– 将公钥文件加入授权列表中
（3） chmod 0600 ~/.ssh/authorized_keys – 修改授权列表的权限
（4）ssh hadoop – 免密登录

3.安装JDK

#rpm -ivh jdk-8u191-linux-x64.rpm

4.安装hadoop

（1）# tar -zxf hadoop-2.6.0_x64.tar.gz -C /usr
–解压到/usr目录下

（2）修改配置文件
cd /usr/hadoop-2.6.0
vi etc/hadoop/core-site.xml
– 在标签中加入以下代码

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/hadoop-2.6.0/hadoop-${user.name}</value>
</property>

vi etc/hadoop/hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

vi etc/hadoop/slaves --配置集群中的奴隶们
hadoop（伪分布式（Pseudo-Distributed）进行学习此处只有主机本身）

（3）添加环境变量
[root@hadoop ~]# vi .bashrc

– 第一行是hadoop的安装路径

HADOOP_HOME=/usr/hadoop-2.6.0  
JAVA_HOME=/usr/java/latest
CLASSPATH=.
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export CLASSPATH
export PATH
export HADOOP_HOME

[root@hadoop ~]# source .bashrc

5.服务启动
（1）初始化操作（只在第一次启动HDFS集群之前执行，以后就不在执行）
[root@hadoop ~]# hdfs namenode -format
（2）启动HDFS集群
start-dfs.sh