Fedora安装Hadoop

本文详细介绍了在Fedora 23上安装Hadoop 2.5.2的步骤,包括下载解压Hadoop、配置环境变量、修改配置文件以设置JAVA_HOME、设置SSH免登录、格式化Namenode、启动Hadoop以及解决启动过程中的常见问题。

这里聊的是单点安装!

–开始:
条件
1).fedora23
2).hadoop-2.5.2
3).已经安装jdk和配置好Java的环境变量了

安装步骤
1).下载和解压hadoop
(1)下载资源自行在网上找,在root用户下操作,先将hadoop的下载包放在/opt目录下
(2)解压,在终端输入:

tar xvf apache-hadoop-2.5.1.tar.gz

2).配置环境变量
在/etc/profile里添加hadoop的环境变量:

vi /etc/profile

添加:

#set for hadoop
export HADOOP_HOME=/opt/hadoop-2.5.2
export PATH=$HADOOP_HOME/bin:$PATH
export CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH

最后让配置文件生效:

source /etc/profile

3).修改hadoop根目录下etc/hadoop目录下两个配置文件的JAVA_HOME环境变量
进入hadoop根目录,在etc目录的hadoop目录下,如图:

这里写图片描述

(1)vi hadoop-env.sh
把export JAVA_HOME={JAVA_HOME}改为:

export JAVA_HOME=/opt/jdk1.7.0_67

修改完保存(:wq!)退出
JAVA_HOME根据实际的环境变量去设定,我的机器的JAVA_HOME是/opt/jdk1.7.0_67

(2)vi yarn-env.sh
添加:


                
<think>好的,我现在需要帮助用户找到如何通过yum安装Hadoop的详细步骤和配置说明。不过根据提供的引用内容,看起来用户之前可能接触的是手动安装Hadoop集群的文档,比如修改配置文件、设置软链接、重启节点等步骤。这些引用中的步骤都是手动安装Hadoop 3.3.4的,而不是通过yum安装的。这可能意味着用户之前尝试过手动安装,现在想换用yum来简化流程,但需要确认是否存在官方支持的yum仓库。 首先,我得回忆一下Hadoop的常见安装方式。通常,Hadoop是通过下载Apache的二进制包手动安装和配置的,尤其是在生产环境中。而yum通常是用来安装Red Hat系列Linux(如CentOS、Fedora)中的软件包。Hadoop是否在官方yum仓库中存在呢?据我所知,Apache Hadoop本身可能不在标准的yum仓库中,但一些第三方发行版,比如Cloudera或Hortonworks(现在合并成Cloudera)可能会提供yum仓库。例如,Cloudera Manager会配置自己的仓库,允许通过yum安装相关组件。 但用户的问题是关于通过yum安装Hadoop,可能需要先确定他们是否指的是使用第三方仓库,比如Cloudera或者HDP。如果是的话,步骤可能包括添加仓库源,安装特定的包。但根据用户提供的引用内容,他们之前使用的是Apache Hadoop 3.3.4,而Cloudera的版本可能较旧,或者用户可能希望继续使用Apache的原生版本。 另外,用户提供的引用内容中提到的步骤都是手动安装,比如修改hdfs-site.xml,配置软链接,以及虚拟机安装步骤。这说明用户可能对Hadoop集群的手动配置有一定的经验,但现在想寻求更简便的安装方式,比如通过包管理器。因此,我需要指出yum安装Hadoop的可能途径,或者说明Apache Hadoop通常不通过yum安装,但可以配置第三方仓库。 接下来,我需要检查是否有官方的yum仓库支持Apache Hadoop。根据我的知识,Apache Hadoop本身不提供官方的yum仓库,但第三方如Cloudera或者BigTop项目可能提供。Apache BigTop是一个旨在为大数据生态系统提供打包和测试的项目,可能包括Hadoop的RPM包。如果用户能够配置BigTop的仓库,可能可以通过yum安装。 所以,可能的步骤是:首先添加BigTop或其他第三方仓库,然后使用yum安装Hadoop。但需要具体说明如何添加仓库,以及安装的包名称。例如,在BigTop中,可能有hadoophadoop-hdfs等包。另外,安装后的配置可能和手动安装类似,需要修改配置文件,设置环境变量等。 但用户提供的引用中提到的是修改hadoop安装目录下的配置文件,如hdfs-site.xml,这说明在手动安装时用户需要自行配置这些文件。如果通过yum安装,这些配置文件的位置可能会在/etc/hadoop目录下,而不是手动解压的目录。例如,通过yum安装后,配置文件可能在/etc/hadoop/conf中,或者类似的位置。 同时,用户提供的引用中提到了配置软链接和重启节点,这说明在安装后需要进行一些符号链接的设置和服务的启动。在通过yum安装的情况下,可能这些步骤会被自动化处理,或者需要用户使用systemctl来管理服务。 综上,我需要整理出一个可能的步骤,包括添加第三方仓库,安装Hadoop包,然后进行配置。但由于用户提供的引用中没有关于yum安装的内容,需要明确说明yum安装可能不是官方推荐的方式,或者需要依赖第三方仓库,并给出具体的步骤。 另外,可能用户存在误解,认为Hadoop可以直接通过yum安装,但实际上可能需要先配置Cloudera或HDP的仓库。例如,Cloudera的文档中会指导用户配置他们的仓库,然后使用yum安装CDH组件。因此,步骤可能包括: 1. 安装必要的工具,如wget。 2. 下载并安装Cloudera的仓库文件。 3. 使用yum安装Hadoop的相关包。 4. 进行配置文件的修改。 5. 启动服务。 但需要注意,Cloudera可能需要许可证或订阅,而Apache BigTop可能更开放。因此,可能需要指导用户如何配置BigTop的仓库。 此外,需要验证这些步骤是否正确,或者是否存在其他问题。比如,是否存在兼容性问题,或者版本问题。例如,用户之前安装的是Hadoop 3.3.4,但通过yum安装的可能是一个不同的版本。 最后,如果通过yum安装Hadoop不可行,可能需要建议用户继续使用手动安装的方法,或者考虑使用其他分发版的Hadoop。这时需要结合用户提供的引用中的手动安装步骤,说明虽然yum安装可能不适用,但手动安装的步骤已经详细,并给出参考链接。 因此,在回答中,我需要先说明通常Hadoop通过手动安装,但若使用yum,可能需要第三方仓库,并提供可能的步骤,同时指出注意事项,比如版本差异和配置变化。同时,根据用户提供的引用,可能还需要提到相关配置步骤,如修改hdfs-site.xml,配置环境变量等,可能在yum安装后仍然需要手动调整。</think>以下是关于通过yum安装Hadoop的详细说明及注意事项: ### 一、Hadoop安装方式背景 Hadoop通常通过手动下载二进制包进行安装(如用户提供的引用[2][3]中所述),但若希望通过包管理器简化流程,可尝试以下两种方式: 1. **第三方发行版仓库**:如Cloudera CDH、HDP等提供yum仓库 2. **Apache BigTop项目**:官方社区维护的大数据组件RPM包 ### 二、通过Cloudera CDH安装步骤(需企业许可证) 1. **配置仓库** ```bash wget https://archive.cloudera.com/cdh6/6.3.2/redhat7/yum/cloudera-cdh.repo -P /etc/yum.repos.d/ ``` 2. **安装Hadoop组件** ```bash sudo yum install hadoop-hdfs hadoop-yarn hadoop-mapreduce ``` 3. **配置文件位置** yum安装的配置文件默认路径为`/etc/hadoop/conf`,需按需修改`core-site.xml`、`hdfs-site.xml`等文件(类似引用[1]中的手动配置步骤) ### 三、通过Apache BigTop安装步骤(开源方案) 1. **添加BigTop仓库** ```bash sudo wget -O /etc/yum.repos.d/bigtop.repo http://archive.apache.org/dist/bigtop/bigtop-3.0.0/repos/centos7/bigtop.repo ``` 2. **执行安装** ```bash sudo yum install hadoop ``` 3. **配置环境变量** 需设置`HADOOP_HOME`软链接(如引用[3]所述): ```bash ln -s /usr/lib/hadoop /export/servers/hadoop ``` ### 四、关键注意事项 1. **版本差异** yum安装的版本可能与手动安装的`hadoop-3.3.4`不同,需通过`hadoop version`验证 2. **服务管理** 安装后可通过systemctl管理服务: ```bash systemctl start hadoop-hdfs-namenode ``` 3. **网络配置** 仍需按引用[2][4]中的要求配置SSH免密登录、关闭防火墙等集群基础环境 ### 五、手动安装对比建议 若需严格遵循引用[1][2][3]中的`hadoop-3.3.4`版本,建议继续使用手动安装方式: 1. 下载官方二进制包 2. 按引用[2]配置环境变量 3. 按引用[1]修改XML配置文件 4. 按引用[3]创建标准化软链接
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值