Hadoop的安装

最新推荐文章于 2024-10-17 12:47:22 发布
原创 最新推荐文章于 2024-10-17 12:47:22 发布 · 273 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #haddop安装

安装前准备

创建一台虚拟机

创建过程不再展示，可以看之前的文章

关闭防火墙，设置开机自动关闭

在这里插入图片描述
在这里插入图片描述

修改主机名

在这里插入图片描述

修改hosts文件

在这里插入图片描述

设置免密登录

执行ssh-keygen

在这里插入图片描述
在这里插入图片描述

执行操作ssh-copy-id root@hadoop01—在这输入密码

在这里插入图片描述

Hadoop安装

首先进入home目录下创建software文件夹

在这里插入图片描述

将jdk和hadoop压缩包上传到software目录下并解压2个安装包

在这里插入图片描述

将解压后的安装包，分别改名为hadoop和jdk8

在这里插入图片描述

配置jdk环境变量

/etc/profile

在这里插入图片描述

让环境变量立即生效

在这里插入图片描述

在Hadoop目录下创建目录tmp

在这里插入图片描述

修改配置文件

文件位置

在这里插入图片描述

修改配置文件Hadoop-env.sh

在这里插入图片描述

修改core-site.xml

在这里插入图片描述

修改hdfs-site.xml

在这里插入图片描述

修改 mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
在这里插入图片描述

修改yarn-site.xml

在这里插入图片描述

修改slaves文件

在这里插入图片描述

配置Hadoop环境变量，使环境变量立即生效

在这里插入图片描述
在这里插入图片描述

格式化namenode

在这里插入图片描述
在这里插入图片描述

启动hadoop

执行命令sh start-dfs.sh

在这里插入图片描述

启动yarn

在这里插入图片描述

执行 jps查看

在这里插入图片描述

在浏览器启动hadoop01:50070查看

在这里插入图片描述

Rainpark
关注
Hadoop安装与配置详细教程
🏆 前端领域优质创作者
04-27 16万+
【确保服务器集群安装和配置已经完成！】 前言 请根据读者的自身情况，进行相应随机应变。 我的三台CentOS7服务器： 主机：master（192.168.56.110） 从机：slave0（192.168.56.111） 从机：slave1（192.168.56.112） 每一个节点的安装与配置是相同的，在实际工作中，通常在master节点上完成安装和配置后，然后将安装目录复制到其他节点就可以，...
Hadoop 3.2.0 安装---安装Hadoop
热门推荐
丶小剩子的博客
04-26 1万+
1.下载最新的Hadoop安装包 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 2.将安装包上传到linux服务器/usr/local/software/目录下 3.切换到该目录，解压hadoop安装包 #cd/usr/local/software/ #tar...
hadoop-2.7.7 linux安装包
12-05
此文件为hadoop-2.7.7.tar.gz，可在linux下直接进行安装，如在windows上安装，则需要hadooponwindows-master.zip，用windows-master里的文件替换解压好后hadoop的bin和etc即可。 Hadoop 2.7.7是一款开源的分布式计算框架，由Apache基金会所开发。它的核心组件包括分布式文件系统HDFS和离线计算框架MapReduce。Hadoop 2.7.7支持完全分布式集群部署，具有高可靠性、高可扩展性、高容错性等特性。此外，该版本还提供了数据节点数据存储的节点位置定义功能，允许用户根据实际情况确定磁盘的挂载目录并进行分割。总的来说，Hadoop 2.7.7是一款适用于处理大规模数据的可靠工具。
部署HDFS集群（完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包）
Gongmoye的博客
04-08 1700
部署HDFS集群（完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包）
Windows环境下hadoop安装和配置详细步骤
AZengz的博客
11-11 2813
一、下载Hadoop http://www.apache.org/dyn/closer.cgi/hadoop/common （我下载的版本是hadoop-2.6.0-cdh5.14.2.tar.gz，这里就以此版本为例） 下载 hadoop 安装包至安装目录 安装目录：/opt/download/hadoop 2、解压安装包至软件目录（最好更名，以便之后方便配置文件） 3、进入文件，准备配置 因为需要用到 java 的路径，可以代码查找，并复制至剪贴板备用 二、配置Hadoop的环境变量 修改配置文件
Hadoop安装包
10-11
Linux环境下的Hadoop安装包，http://blog.youkuaiyun.com/zp8126可以查询安装步骤
Hadoop安装教程_单机_伪分布式配置_Hadoop2.6.0_Ubuntu14.04_给力星.html
03-02
网上找的，适合于原生Hadoop2，包括Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利安装并运行Hadoop。
Hadoop课程实验和报告——Hadoop安装实验报告
06-30
Hadoop课程实验和报告——Hadoop安装实验报告 Hadoop是一个开源的大数据处理框架，由Apache基金会开发和维护。它提供了一种可靠、可扩展、可高效的方法来存储和处理大规模数据。在本实验报告中，我们将介绍Hadoop的...
Hadoop安装手册_Hadoop2.0-v1.71
08-04
第 4 章 安装部署 Hive 444.1 解压并安装 Hive 44
hadoop安装与配置，图文版
09-30
Hadoop安装与配置详细步骤： 1. 安装Hadoop之前，首先需要下载对应版本的Hadoop压缩包。官方网站提供了各版本的下载链接，用户可以根据需求下载。 2. 下载完毕后，将压缩包解压到指定目录。在本例中，将Hadoop-...
Hadoop安装包.zip
11-18
Hadoop安装包.zip
hadoop安装包centos6.5-hadoop-2.6.4.tar.gz
03-28
hadoop安装包centos6.5-hadoop-2.6.4.tar.gzhadoop安装包centos6.5-hadoop-2.6.4.tar.gz
hadoop-3.1.2安装包
04-04
这个对应的是给技术文章《Hadoop3伪分布式安装》上面需要的下载资源 https://blog.youkuaiyun.com/qq_25615395/article/details/89018823
Hadoop_2.7.2安装包.rar
02-11
资源中是Hadoop2.7.2版本安装包，安装配置说明可参考我的博客，如果安装过程中遇到问题可与我联系解决。
【免费下载】 Hadoop 2.6.0 安装包
gitblog_09799的博客
10-17 704
Hadoop 2.6.0 安装包 【下载地址】Hadoop2.6.0安装包 本仓库提供Hadoop 2.6.0的安装包，适用于Hadoop集群的搭建和安装。该安装包包含了Hadoop 2.6.0的所有必要文件，方便用户快速部署和配置Hadoop环境 ...
hadoop安装包下载
weixin_39209728的博客
03-24 4810
登录hadoop官网http://hadoop.apache.org/找到download
hadoop-2.7.3安装包
03-30
hadoop-2.7.3安装包hadoop-2.7.3安装包hadoop-2.7.3安装包hadoop-2.7.3安装包hadoop-2.7.3安装包hadoop-2.7.3安装包hadoop-2.7.3安装包
Hadoop安装包和配置文件
weixin_43832542的博客
12-12 927
Hadoop目录结构 重要目录解释 1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本 2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件 3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能） 4）sbin目录：存放启动或停止Hadoop相关服务的脚本 5）share目录：存放Hadoop的依赖jar包、文档、和官方案例 配置文件 配置文件路径：$HADOOP_HOME/etc/hadoop 核心配置文件 core-site..
hadoop安装
最新发布
03-08
### Hadoop 安装教程 #### 准备工作 为了成功安装Hadoop，需先确认已正确安装并配置好Java环境。可以通过`java -version`命令来验证当前系统的Java版本。 #### 下载Hadoop软件包 前往Apache官方镜像站点下载最新的稳定版Hadoop压缩文件。对于2024年的最新版本，建议选择3.x系列中的一个稳定发布版本[^1]。 #### 解压与部署 解压所下载的tar.gz格式的Hadoop压缩包到指定目录下，例如 `/usr/local/` 或其他适合的位置： ```bash tar zxvf hadoop-3.4.0.tar.gz -C /usr/local/ ``` #### 配置环境变量 编辑`.bashrc`或其他shell初始化脚本，在其中加入Hadoop的相关路径设置以便于全局调用: ```bash export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source ~/.bashrc ``` #### 修改核心配置文件 进入Hadoop配置文件夹并对`hadoop-env.sh`进行必要的调整以适应本地环境需求，特别是要确保指定了正确的JAVA_HOME位置[^2]: ```bash vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh ``` 在该文件内找到并修改如下行指向实际安装的JDK路径： ```properties export JAVA_HOME=/path/to/java/home ``` #### 启动Hadoop集群 完成上述准备工作之后就可以尝试启动单节点伪分布式模式下的HDFS服务了： ```bash $HADOOP_HOME/sbin/start-dfs.sh ``` 通过执行特定命令可以查看Hadoop是否正常运行以及其具体版本信息： ```bash /usr/local/hadoop/bin/hadoop version ``` 此命令会显示详细的编译时间戳和其他元数据信息，证明Hadoop已被成功安装并能够正常使用。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值