HDFS 分布式文件系统的安装和部署

本文详细介绍了如何在三台机器上安装和配置HDFS文件系统,包括必要的环境准备、SSH信任关系建立、核心配置文件编辑等内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

HDFS文件系统

 

分布式存储环境

 

HDFS的安装和部署

1.准备工作

准备3台机器,设置好hosts

一台作为Namenode,cc-staging-session2命名为master,

两台作为dataNode,cc-staging-front命名为slave1, cc-staging-imcenter 命名为slave2


#3台机器都创建Hadoop用户

useradd hadoop

passwd hadoop

 


# 安装JDK,并设置JAVA_HOME和PATH

#下载安装jdk1.7

http://www.Oracle.com/technetwork/java/javase/downloads/index.html

tar zxvf jdk-7u21-linux-x64.gz -C /usr/local/

 


#/etc/profile增加环境变量

pathmunge /usr/local/jdk1.7.0_21/bin

export JAVA_HOME=/usr/local/jdk1.7.0_21/

export JRE_HOME=/usr/local/jdk1.7.0_21/jre

export  CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

 

2.下载安装hadoop


#下载hadoop

下载地址https://ccp.cloudera.com/display/SUPPORT/CDH3+Downloadable+Tarballs

wget  http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u6.tar.gz

wget  http://archive.cloudera.com/cdh/3/hbase-0.90.6-cdh3u6.tar.gz

wget  http://archive.cloudera.com/cdh/3/hive-0.7.1-cdh3u6.tar.gz

 


#在3太机器上创建相同的目录路径, name目录只存放在master上,且权限为755,否则会导致后面的格式化失败

mkdir -p  /hadoop/{install,name,data1, data2,tmp}

 


#解压安装包到/hadoop/install下

tar zxvf hadoop-0.20.2-cdh3u6.tar.gz -C /hadoop/install/

 


#修改属主为hadoop

chown -R hadoop.hadoop /hadoop

 

3.设置hadoop账户的ssh信任关系

 

#在master机器上操作

su – hadoop

ssh-keygen

ssh-copy-id -i .ssh/id_rsa.pub  hadoop@cc-staging-front

ssh-copy-id -i .ssh/id_rsa.pub  hadoop@cc-staging-imcenter

ssh-copy-id -i .ssh/id_rsa.pub  hadoop@cc-staging-session2

 


#测试一下,都能成功登录就行

ssh hadoop@master

ssh hadoop@slave1

ssh hadoop@slave2

 

 

4.编辑HDFS配置文件,所以节点都有保持一致

cd /hadoop/install/hadoop-0.20.2-cdh3u6/conf

#core-site.xml核心配置

<configuration>

<property>

      <name>fs.default.name</name>

      <value>hdfs://master:9000</value>

  </property>

</configuration>

 


#hdfs-site.xml:站点多项参数配置

<configuration>

<property>

      <name>dfs.replication</name>

      <value>2</value>

</property>

<property>

      <name>dfs.name.dir</name>

      <value>/hadoop/name</value>

</property>

<property>

      <name>dfs.data.dir</name>

      <value>/hadoop/data1,/hadoop/data2</value>

</property>

<property>

      <name>dfs.tmp.dir</name>

      <value>/hadoop/tmp</value>

</property>

</configuration>

 


#在hadoop-env.sh中配置JAVA_HOME变量

export JAVA_HOME=/usr/local/jdk1.7.0_21/

 

 

 

 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值