Hadoop3.3.4伪分布式环境搭建

已于 2025-01-26 11:47:26 修改
阅读量627 收藏 3
点赞数 5
文章标签： 分布式 hadoop 伪分布式 hadoop3.3.4
于 2025-01-09 19:22:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/tsstep/article/details/145040324
版权

文章目录

前言

hadoop学习——伪分布式环境——普通用户搭建

一、准备

1. 下载Hadoop

2. 配置环境变量

vi ~/.bash_profile

# 增加如下配置
export HADOOP_HOME=/home/install/hadoop-3.3.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

# 使配置生效
source ~/.bash_profile

3. 配置免密

二、Hadoop配置

配置的目录是$HADOOP_HOME/etc/hadop

1. hadoop-env.sh

修改JAVA_HOME，设置为JDK所在的位置

# Linux命令行输出 JDK 位置
echo $JAVA_HOME

2. hdfs-site.xml

<!--指定数据冗余份数-->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.http.address</name>
    <value>hadoop01:50070</value>
</property>

3. core-site.xml

 <!--hadoop01是机器名  hostname-->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:9000</value>
</property>
<!-- hadoop临时目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/install/data/hadoop/HADOOP_TMP_DIR</value>
    <description>Abase for other temporary directories.</description>
</property>
<!--所有用户可访问-->
<property>
    <name>hadoop.proxyuser.hduser.groups</name>
    <value>*</value>
</property>
<!--设置buffer size-->
<property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
</property>
<!--任何IP可访问-->
<property>
    <name>hadoop.proxyuser.hduser.hosts</name>
    <value>*</value>
</property>

4. mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.job.counters.max</name>
    <value>1200000</value>
</property>
<property>
    <name>mapreduce.map.memory.mb</name>
    <value>4096</value>
</property>
<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>8192</value>
</property>
<property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx3072m</value>
</property>
<property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx6144m</value>
</property>

5. yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20480</value>
</property>
<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>20480</value>
</property>

三、格式化

hadoop namenode -format

四、启动

# 懒一点的方式
start-all.sh

五、访问web页面

http://localhost:50070
如果没有配置，默认端口是9870

凡许真
关注
大数据安装之hadoop-3.3.4
09-11 3960
hadoop3安装及问题
大数据技术栈-Hadoop3.3.4-完全分布式集群搭建部署-centos7（完全超详细-小白注释版）虚拟机安装+平台部署
HAO的Blog
03-29 2363
安装包：虚拟机联网后可直接通过浏览器进行下载 若在PC机 则需通过工具上传至虚拟机中 （使用xshell或xftp）使用tar命令解压安装包（我的安装包统一放在/opt/software目录下，解压在/opt/module目录）通常出现的第一个此虚拟机使用的虚拟网卡，名称为ens33 对这个网卡的配置文件进行修改。注：本次安装过程使用了简易安装，不使用的话是需要自行选择需要安装的插件和软件。使用vim对 /etc/profile 进行编辑，将以下内容写入。使用命令查看jdk版本，与安装包相符说明配置成功。
hadoop-3.3.4 版本（最新版）
12-14
Apache Hadoop （hadoop-3.3.4.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢，因此将hadoop-3.3.4 版本放在这里，欢迎大家来下载使用！ Hadoop 架构是一个开源的、基于 Java 的编程框架，设计用于跨电脑集群来 处理大数据。Hadoop 是一个能够让用户轻松搭建和使用的分布式计算平台，能 够让用户轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。 Hadoop 架构有两个主要的组件：分布式文件系统 HDFS 和 MapReduce 引擎。 在 Hadoop 中，MapReduce 底层的分布式文件系统是独文模块，用户可按照约定 的一套接口实现自己的分布式文件系统，然后经过简单的配置后，存储在该文件 系统上的数据便可以被 MapReduce 处理。 官网下载速度非常缓慢，因此将hadoop-3.3.4 版本放在这里，欢迎大家来下载使用！
Hadoop 3.3.4 搭建（YARN部署 HDFS部署）
2301_79036309的博客
10-23 708
的node1是要在你的电脑上修改hosts文件的，不然是打不开的网站的，详细请看 1.3。MapReduce运行在YARN容器内，无需启动独立进程。node1，node2，node3都需要建快照。SecondaryNameNode：主节点辅助。ResourceManager进程作为管理节点。yarn正确启动后，在浏览器 在url框输入。NodeManager进程作为工作节点。NameNode进程作为管理节点。NameNode：主节点管理者。DataNode：从节点工作者。成功打开网站后，是下面这样的。
【hadoop】Hadoop 3.3.4 集群安装及简单使用
東₂₀₂₃²⁰²³
12-08 2186
Hadoop3.3.4 集群安装及简单配置
hadoop3.3.4安装及启动
weixin_61023150的博客
12-12 1615
输入vi /etc/sysconfig/network-scripts/ifcfg-ens33(ens33是刚刚用ip addr查到的号码)，按i进入编辑模式，给机器分配ip地址，要与在ipv4中设置的ip地址不同，我这里写的是200.编辑完成后按esc退出，按下:wq保存修改。输入cd /home/hadoop语句，切换到该文件夹，输入ls查看是否成功的把压缩包移动到该文件夹下，如果用mv语句一直没有反应，那可以直接先切换到该文件下，然后使用rz语句，就在该文件夹下解压hadoop。
hadoop3.3.4 winutils
12-18
下面将详细讲解基于Hadoop 3.3.4在Windows 11上搭建环境的过程以及涉及的关键知识点。 1. **Hadoop 3.3.4概述**：Hadoop 3.3.4是Hadoop的一个稳定版本，它带来了许多性能优化、新功能和错误修复。这个版本支持YARN...
Hadoop安装搭建伪分布式教程（全面）吐血整理
m0_74823408的博客
10-10 1079
yarn 是一种资源管理和作业调度技术，作为Hadoop 的核心组件之一，负责将系统资源分配给在 Hadoop 集群中运行的各种应用程序，并调度要在不同集群节点上执行的任务，其基本思想是将资源管理和作业调度/监视的功能分解为单独的 daemon，总体上yarn是 master/slave 结构，在整个资源管理框架中，ResourceManager 为 master，NodeManager 是 slaver。3.输入生成SSH私钥与公钥的命令，-t用于声明密钥的加密类型，输入Hadoop密码。
CentOS7 Hadoop 3.3.4 集群安装（1 NameNode，3 DataNode）
weixin_42284792的博客
11-24 1602
CentOS7下安装Hadoop3.3.4集群，一个NameNode节点，三个DataNode节点
Hadoop笔记
pyml_kdl的博客
05-07 326
内容来源菜鸟教程 概念理解 Hadoop 整体设计 Hadoop 框架是用于计算机集群大数据处理的框架，所以它必须是一个可以部署在多台计算机上的软件。部署了 Hadoop 软件的主机之间通过套接字 (网络) 进行通讯。 Hadoop 主要包含 HDFS 和 MapReduce 两大组件，HDFS 负责分布储存数据，MapReduce 负责对数据进行映射、规约处理，并汇总处理结果。 Hadoop 框架最根本的原理就是利用大量的计算机同时运算来加快大量数据的处理速度。例如，一个搜索引擎公司要从上万亿条没有进行规
Hadoop3.3.4分布式安装
Appreciate(欣赏)
11-14 1047
如果集群是第一次启动，需要在flinkv1节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）（4）Web端查看HDFS的Web页面：http://flinkv1:9870/ （云服务器请使用公网IP地址访问，确保端口的安全组入口已经开发）（3）在配置了ResourceManager的节点（flinkv2）启动YARN。注意：下文中的flinkv1、flinkv2、flinkv3是三台服务器的别名。
【七】Hadoop3.3.4基于ubuntu24的分布式集群安装
qq_31412425的博客
07-27 1191
本次安装实验基于苹果m2芯片的mac系统，使用vmware fusion搭建三台ubuntu24分布式虚拟机，确保在三台机器上安装了Java jdk8，并配置了免密码登录，网络互通，防火墙关闭，授时服务器已经同步。访问apche官网源，下载3.3.4版本，我们用二进制通用版即可，因为hadoop运行在java环境，跨平台性使得无需编译arm架构版本。至此，Hadoop的安装完成，包括hdfs文件存储系统，mapreduce计算框架，yarn资源管理系统均能正常、稳定使用。
【大数据】Hadoop-3.3.4完全分布式安装（包含VMware16和Ubuntu22的下载安装及配置）、搭建、配置教程，以及Hadoop基础简介
热门推荐
weixin_52185996的博客
09-05 1万+
注：本篇文章主要涉及到：HDFS（分布式文件系统）、YARN（资源管理和调度框架）、以及MapReduce（离线计算）。以下就是本篇文章所采用的的架构。注：上述的master、slave1、slave2均是主机名（结点名），可以和本篇文章不一致，但下面所有涉及到的地方均需和你这里的主机名一致，如何修改文章后面部分会进行介绍。① NameNode ：NameNode是HDFS部分的核心；NameNode又称为Master，储存着HDFS的元数据（即分布式文件系统中所有文件的目录树，并且跟踪追查整个Hadoop
Hadoop3.3.4分布式集群搭建
jun_fu的博客
10-14 458
Hadoop集群的构建大致可以分为三大步：1.ssh的免密配置是为了简化操作流程、提高安全性和效率。2.JDK的部署是因为Hadoop是基于Java语言开发的，其运行环境依赖于Java虚拟机（JVM）。3.1 hadoop-env.sh：这个脚本文件用于设置Hadoop的环境变量，这些环境变量对于Hadoop的正常运行至关重要。3.2 core-site.xml：这个配置文件包含了Hadoop的核心配置信息，如HDFS和YARN的元数据存储位置、日志存储位置等。
大数据技术之Hadoop-3.3.4高可用安装部署操作文档
2301_77356579的博客
05-03 1031
大数据技术之Hadoop-3.3.4高可用安装部署操作文档
大数据Hadoop之——Hadoop 3.3.4 HA（高可用）原理与实现（QJM）
匠人精神，持之以恒！
08-20 3015
在 Hadoop 2.0.0 之前，一个集群只有一个Namenode，这将面临单点故障问题。如果 Namenode 机器挂掉了，整个集群就用不了了。只有重启 Namenode ，才能恢复集群。另外正常计划维护集群的时候，还必须先停用整个集群，这样没办法达到 7 * 24小时可用状态。Hadoop 2.0 及之后版本增加了 Namenode 高可用机制，下面详细介绍。
Hadoop3.3.4 + HDFS Router-Based Federation配置
snipercai的博客
06-21 1758
HDFS Router-based Federation 3.34
部署HDFS集群（完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包）
Gongmoye的博客
04-08 1490
部署HDFS集群（完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包）
Hadoop集群搭建，基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】，常见问题解决
m0_63622279的博客
03-06 1351
Hadoop集群搭建，我这里采用的是Hadoop3.3.4，Jdk1.8，centos8,vmware16版本的。首先我们需要创建三台虚拟机,先创建第一台虚拟机，然后对第一台虚拟机进行配置（网络配置，免密配置，jdk,hadoop环境的安装），然后进行克隆，将第一台虚拟机克隆两个虚拟机出来，最后开始搭建集群。主节点的网络配置，IP与主机名的映射，搭建JAVA和Hadoop环境的流程步骤，克隆从节点虚拟机，对从节点虚拟机的网络进行配置，SSH免密登录，网络防火墙关闭，Hadoop集群测试，UI查看运行状态。
在Linux虚拟机环境下完成Hadoop伪分布式环境的搭建，并运行Hadoop自带的WordCount实例检测是否运行正常
最新发布
03-16
<think>好的，用户现在问的是如何在Linux虚拟机下搭建Hadoop伪分布式环境，并运行WordCount实例来测试。之前用户已经询问过一些Hadoop的基本操作，比如创建目录、上传文件等，所以这次的问题可能是在更基础的环境搭建上。 首先，我需要考虑用户的使用场景。可能用户是刚开始学习Hadoop的学生或者开发者，需要在虚拟机里搭建环境进行实验。他们可能对Linux系统和Hadoop的配置不太熟悉，所以步骤需要详细，并且要指出可能遇到的坑。 接下来，用户的真实需求是完成伪分布式环境的搭建，并成功运行示例程序。伪分布式模式适合单节点测试，用户可能没有多台机器，所以需要详细的配置步骤。另外，用户可能还希望确保环境正确配置，避免后续操作出错。 用户可能没有明确提到的深层需求包括环境配置的正确性、权限问题、SSH免密登录的设置，以及运行WordCount时可能遇到的常见错误。比如，配置文件的修改是否正确，Java环境变量是否设置，还有Hadoop的日志如何查看等。 现在需要整理搭建步骤，首先确保系统环境，比如安装Java，配置SSH。然后下载和解压Hadoop，接着修改配置文件，如hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。这些文件的配置是伪分布式的关键，需要详细说明每个参数的作用。 之后是初始化HDFS，启动集群，并验证服务是否正常运行。这部分需要给出具体的命令，比如start-dfs.sh和start-yarn.sh，以及如何用jps检查进程。 然后是运行WordCount示例，需要创建输入目录，上传文件，运行任务，并检查输出结果。这里要确保用户知道如何正确使用HDFS命令，以及如何处理可能的错误，比如文件路径问题或者任务提交失败。 此外，注意事项也很重要，比如关闭防火墙，确保主机名解析正确，Java路径配置正确，以及如何排查常见问题。比如，如果DataNode没有启动，可能需要检查日志或者重新格式化NameNode。 最后，可能还需要给出一些扩展建议，比如学习YARN管理，HDFS原理，或者性能调优，帮助用户进一步学习。 需要确保回答结构清晰，步骤明确，命令正确，并且覆盖用户可能遇到的问题。同时，语言要简洁易懂，避免使用过于专业的术语，或者如果使用了，需要适当解释。例如，解释伪分布式和完全分布式的区别，或者NameNode和DataNode的作用。 还要检查之前的回答是否有相关的内容，比如之前用户的问题涉及Hadoop操作，现在则是环境搭建，可能需要引用之前的命令，但这里主要需要详细的环境搭建步骤。 总结下来，回答需要分步骤，每个步骤详细说明，给出命令示例，注意事项，以及验证步骤。同时，考虑用户可能遇到的常见问题，提供解决方案，比如如何处理SSH免密登录失败，或者Hadoop启动时端口被占用等问题。</think>以下是Hadoop伪分布式环境搭建及WordCount实例测试的详细指南： --- ### **一、环境准备** 1. **系统要求** - Linux虚拟机（推荐Ubuntu 20.04/CentOS 7） - Java 8+（必须配置JAVA_HOME） - SSH服务（需配置免密登录） - 硬盘空间≥10GB，内存≥4GB 2. **安装依赖** ```bash # 安装SSH和Java sudo apt-get update sudo apt-get install ssh openjdk-8-jdk -y ``` --- ### **二、Hadoop安装配置** #### **1. 下载与解压** ```bash wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local cd /usr/local && mv hadoop-3.3.4 hadoop sudo chown -R hadoop:hadoop hadoop # 假设用户名为hadoop ``` #### **2. 配置环境变量** 编辑`~/.bashrc`： ```bash export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 # 根据实际路径修改 ``` 执行生效： ```bash source ~/.bashrc ``` #### **3. 修改Hadoop配置文件** > **配置文件位置**：`$HADOOP_HOME/etc/hadoop/` **① hadoop-env.sh** ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` **② core-site.xml** ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> </configuration> ``` **③ hdfs-site.xml** ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///usr/local/hadoop/tmp/dfs/data</value> </property> </configuration> ``` **④ mapred-site.xml** ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` **⑤ yarn-site.xml** ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` --- ### **三、SSH免密登录配置** ```bash ssh-keygen -t rsa -P &#39;&#39; -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys # 测试连接 ssh localhost ``` --- ### **四、HDFS初始化与启动** #### **1. 格式化NameNode** ```bash hdfs namenode -format ``` #### **2. 启动Hadoop集群** ```bash start-dfs.sh start-yarn.sh ``` #### **3. 验证服务状态** ```bash jps # 应显示以下进程： # NameNode # DataNode # ResourceManager # NodeManager # SecondaryNameNode ``` --- ### **五、运行WordCount实例** #### **1. 准备测试文件** ```bash echo "Hello World Hadoop" > input.txt echo "Hello Hadoop MapReduce" >> input.txt ``` #### **2. HDFS操作** ```bash hdfs dfs -mkdir -p /user/hadoop/input hdfs dfs -put input.txt /user/hadoop/input ``` #### **3. 执行MapReduce任务** ```bash hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar \ wordcount /user/hadoop/input /user/hadoop/output ``` #### **4. 查看结果** ```bash hdfs dfs -cat /user/hadoop/output/part-r-00000 # 预期输出： # Hadoop 2 # Hello 2 # MapReduce 1 # World 1 ``` --- ### **六、常见问题排查** 1. **NameNode未启动** - 检查`hadoop-root-namenode-*.log`日志 - 重新格式化：`hdfs namenode -format` 2. **端口占用问题** ```bash netstat -tlnp | grep 9000 # 检查HDFS端口冲突 ``` 3. **权限错误** ```bash sudo chown -R hadoop:hadoop /usr/local/hadoop ``` --- ### **七、扩展建议** 1. **Web界面监控** - HDFS管理界面：`http://localhost:9870` - YARN管理界面：`http://localhost:8088` 2. **深入学习方向** - YARN资源调度机制 - HDFS读写流程源码分析 - MapReduce执行过程优化 --- 通过以上步骤即可完成伪分布式环境搭建和基础功能验证。如果遇到操作异常，建议优先检查日志文件（位于`$HADOOP_HOME/logs`目录）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值