Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Hadoop安装及测试

最新推荐文章于 2025-05-07 14:30:23 发布

原创

最新推荐文章于 2025-05-07 14:30:23 发布 · 1.2k 阅读

CC 4.0 BY-SA版权

文章标签：

本文详细介绍了如何在3台服务器上安装配置Hadoop 2.6.3，包括设置环境变量、配置Hadoop文件、格式化NameNode以及启动和验证Hadoop集群的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在上一篇环境安装完成的基础上进行Hadoop的安装和配置。

3.7Hadoop安装

需要在3台服务器上都安装 Hadoop。首先通过sftp将下载下来的二进制的 Hadoop包上传到Master，

将Hadoop 压缩包 hadoop-2.6.3.tar.gz移动到/usr/local/program/目录下，使用tar zxvf hadoop-2.6.3.tar.gz 解压缩。

进入 /usr/local/program/hadoop-2.6.3/etc/hadoop查看配置文件如下

3.7.1 Hadoop环境变量配置

1、首先将Hadoop的安装路径配置到环境变量中

vi /etc/profile

export JAVA_HOME=/usr/local/program/jdk1.7.0_80

export JRE_HOME=/usr/local/program/jdk1.7.0_80/jre

export CLASS_PATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

export HADOOP_HOME=/usr/local/program/hadoop-2.6.3

export HADOOP_CONF_DIR=/usr/local/program/hadoop-2.6.3/etc/hadoop

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

保存退出后source /etc/profile 使改动生效。

2、并把jdk的环境变量加入到Hadoop的环境变量中

vi /usr/local/program/hadoop-2.6.3/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/program/jdk1.7.0_80

保存退出。

vi /usr/local/program/hadoop-2.6.3/etc/hadoop/yarn-env.sh

export JAVA_HOME=/usr/local/program/jdk1.7.0_80

保存退出。

3、Hadoop version 验证效果

3.7.2 Hadoop 文件配置

首先在Master先配置，然后分发到各个slave上

1、core-site.xml

主要是配置HDFS的地址和端口号

文件名	core-site.xml
参数名称	属性值	备注
fs.defaultFS	hdfs://bigdata1:9000	接收Client连接的RPC端口，用于获取文件系统metadata信息。
hadoop.tmp.dir	/usr/local/program/hadoop-2.6.3/tmp	需要事先在目录下创建tmp文件，如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。
hadoop.proxyuser.hadoop.hosts	*
hadoop.proxyuser.hadoop.groups	*