Hadoop集群搭建

已于 2023-06-11 13:30:44 修改
阅读量774 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 环境搭建 文章标签： hadoop 大数据 hdfs
于 2023-06-06 21:43:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_54902210/article/details/131076774

Linux集群搭建

1、新建虚拟机

创建一个centos镜像，命名为hadoop1，剩下两个待基础环境配置好后，直接克隆即可

2、基础环境配置

1.1、JDK

安装目录：/usr/local

①解压

tar -zxvf jdk-8u102-linux-x64.tar.gz -C /usr/local/

②配置环境变量

vi /etc/profile

添加

export JAVA_HOME=/usr/local/jdk1.8.0_102

export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

③加载环境变量

source /etc/profile

1.2、Hadoop

安装目录：/usr/local/hadoop-2.7.3

①解压
tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/
②修改配置文件

a.添加环境变量

cd /usr/local/hadoop-2.7.3/etc/hadoop/
vi hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_102

在这里插入图片描述

source /etc/profile

b.选择文件系统和临时目录

vi core-site.xml

添加

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.3/tmp</value>
</property>

c.修改分布式文件系统相关配置

vi hdfs-site.xml

添加

<configuration>
<property>
<name>dfs.secondary.http.address</name>
</property>

<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-2.7.3/data/name</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-2.7.3/data/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<property>
<value>hadoop1:50090</value>
</property>
</configuration>

d.使用yarn框架

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

添加

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

e.配置yarn

vi yarn-site.xml

添加

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

f.修改节点列表

vi slaves

改成

hadoop2
hadoop3

1.3、关闭防火墙

service firewalld stop
systemctl disable firewalld

3、克隆虚拟机

克隆两个分别为hadoop2、hadoop3，修改主机名

hostnamectl set-hostname hadoop1
hostnamectl set-hostname hadoop2
hostnamectl set-hostname hadoop3

4、配置网卡

防止网络状态改变，改为静态地址

路径根据个人网络接口和dns网关进行修改

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736

BOOTPROTO=static
IPADDR=192.168.43.132
NETMASK=255.255.255.0
GATEWAY=192.168.43.2
DNS1=192.168.43.2
DNS2=192.168.43.3

在这里插入图片描述

sudo systemctl restart network

同理将hadoop2、hadoop3设置好

5、修改host映射

vi /etc/hosts

192.168.43.132 hadoop1
192.168.43.133 hadoop2
192.168.43.134 hadoop3

6、配置免密登录SSH

用MobaXterm同时操控三台机器

  • 安装免密登录客户端：yum install -y openssh-clients

  • 生成公钥跟私钥：ssh-keygen

  • 发送公钥跟私钥：ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.43.132

启动集群

在hadoop1上执行，只能执行一次

hadoop namenode -format

运行

start-all.sh

验证集群

1、JPS

在这里插入图片描述

2、访问web端

192.168.43.132:50070

192.168.43.132:8088

参考链接

https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/
Hadoop详细集群搭建_hadoop集群搭建_RomanyK的博客-优快云博客

Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1380
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
Hadoop集群搭建（详细版）
qq_73824705的博客
10-01 1万+
分别在hadoop101、hadoop102、hadoop103中修改 hosts 文件（主要用于映射 IP 地址和域名之间的连接）设置hostname，分别修改主机名为hadoop101、hadoop102、hadoop103，cat命令查看主机名。进入hadoop101，打开终端，设置为静态 ip ，添加 ip 地址、网关和域名。打开xshell，hadoop101、hadoop102、hadoop103建立连接。打开ens33并修改主机名为hadoop101，点击完成，开始安装。
hadoop集群搭建
progammer10086的博客
10-25 1116
hadoop集群搭建
Hadoop集群搭建详细教程
m0_65029172的博客
07-27 4067
Hadoop集群搭建详细教程
Hadoop集群搭建（超级详细）
热门推荐
qq_43650672的博客
05-07 7万+
本文略长，希望各位大佬见谅！！！ 需要的安装包：jdk-8u162-linux-x64.tar.gz（ 提取码：6k1i ）、hadoop-3.1.3.tar.gz（ 提取码：07p6 ） 1 集群规划 安装VMware，使用三台Ubuntu18.04虚拟机进行集群搭建，下面是每台虚拟机的规划： 主机名 IP 用户 HDFS YARN hadoopMaster 待定 rmc0924 NameNode、DataNode NodeManager、ResourceManager hado
Hadoop 集群搭建
yuyu的博客
03-24 2368
使用三台虚拟机，搭建一个 Hadoop 集群
CentOS7 hadoop集群搭建
qq_41103051的博客
09-13 2805
CentOS7 hadoop集群搭建
Hadoop集群搭建-完全分布式
2301_79986451的博客
10-11 2116
Hadoop 是一个开源框架，主要用于存储和处理大规模数据集，特别是在集群环境下。它最初由 Apache Software Foundation 开发，并且已经成为大数据处理领域的重要组成部分。Hadoop 提供了一种高效、可靠的方式来存储、处理和分析大量数据，支持分布式计算模型。HDFS 是一种分布式文件系统，设计用来存储大量的数据，并且能够提供高吞吐量的数据访问能力。集群里主要角色有：NamenodeDataNodeYARN 是 Hadoop 的资源管理和调度框架。
Hadoop集群搭建(简单版)
weixin_62886691的博客
06-18 1556
(3)创建虚拟机,选择自定义,选择稍后安装操作系统,然后都默认,这里选择的是vm16,用的centos17。(2).打开控制面板,在程序与功能,启动或关闭Windows功能中,查看是否选中虚拟机平台。(1).开始时检查电脑是否虚拟化,进入任务管理器,性能,查看CPU,查看是否虚拟化。先不勾使用DHCP服务,进入nat设置,将网关ip最后一个数字默认设置为2,(5).进入控制面板,网络与共享,选择更改适配器,选择vmnet8修改设置。(4).配置网络,进入vm的编辑,虚拟网络编辑器,更改设置进入管理员模式。
3.基于hadoop集群搭建hbase
06-17
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
hadoop集群搭建_centos7配置静态IP
01-07
1.网络配置 设为NAT模式 虚拟机中选中节点,设置–>虚拟机设置—>网络适配器—>NAT模式 2.网络配置 打开虚拟机 ,选中需要修改的节点,步骤如下: 编辑—>虚拟网络编辑器—>VMnet8(NAT模式)—>移除...如果是集群配置,其
基于Hadoop的成都市二手房数据分析与房价预测系统的设计与实现
最新发布
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-05 732
本项目基于Hadoop平台构建了一套成都市二手房大数据分析与智能预测系统。通过Python爬虫采集链家网3万余条房源数据，采用Hadoop生态系统进行数据存储与处理，并利用CatBoost回归模型实现房价预测（R²达0.89）。系统采用B/S架构，整合数据采集、清洗、分析、预测和可视化功能，提供多维房价分析、智能估价、数据管理等服务。项目实现了从数据获取到应用落地的完整闭环，为购房决策、房产定价和政府调控提供数据支持，具有较高的实用价值和推广潜力。
译|Netflix 数据平台运营中基于机器学习自动修复系统
素质云笔记
08-02 780
译|Netflix 数据平台运营中基于机器学习自动修复系统
【无标题】
别这么骄傲
08-01 427
Flink跨Catalog读写实践总结：生产环境中需严格区分数据源注册位置，Kafka等Source表应注册在default_catalog避免污染Hive Metastore，Hive Sink表则需在HiveCatalog注册。通过全限定名(catalog.database.table)实现跨Catalog操作，既能保证数据治理规范，又能确保血缘清晰。最佳实践要求非Hive连接器表严禁在HiveCatalog创建，团队协作时应将此规范纳入开发流程，从而维护生产环境的安全性和结构清晰性。
Kafka 是什么？
专注于技术分享
08-03 500
Kafka 是一个开源的分布式事件流处理平台。Kafka 的设计目标是为处理实时数据流提供一个统一的、高吞吐量、低延迟的平台。从本质上讲，可以将 Kafka 理解为一个高度可靠且可扩展的“日志”或“记录簿”，用于记录在不同系统和应用程序之间发生的“事件”。凭借其高性能和可扩展性，Kafka 被广泛应用于各种场景，超过 80% 的财富 500 强公司都在使用它。总而言之，Kafka 不仅仅是一个消息队列，它更是一个功能强大的分布式事件流平台，为构建数据驱动的实时应用程序提供了坚实的基础。
基于Java的AI工具和框架
keny-大成的博客
08-04 811
本文介绍了多个基于Java的AI工具和框架的实用案例，涵盖机器学习、自然语言处理、计算机视觉、推荐系统等领域。主要内容包括： 机器学习与深度学习：使用Deeplearning4j进行图像分类、Weka实现决策树算法、Apache Spark MLlib分布式逻辑回归等案例，并提供代码示例。 自然语言处理：OpenNLP句子分割、Stanford CoreNLP命名实体识别、LingPipe情感分析等工具的应用实例。 计算机视觉：OpenCV人脸检测、BoofCV特征点匹配、ImageJ医学图像分析等场景的实
在 Elasticsearch 中落地 Learning to Rank（LTR）
hello.reader
08-02 792
本文介绍了在Elasticsearch中实现Learning-to-Rank(LTR)重排序的方案。LTR通过机器学习模型融合多维度特征（文档属性、查询属性、相关性等），对Top-K结果进行二阶段重排，能显著提升电商搜索、内容推荐等场景的相关性。文章详细阐述了从标注集构建、特征工程到XGBoost/LGBM模型训练的完整流程，并展示了如何在Elasticsearch 9.x中部署reranker服务，通过retriever+LTR二阶段查询实现实时重排。最后针对常见问题提供了解决方案，帮助开发者快速构建更精
hadoop 集群搭建
03-29
<think>好的，用户想了解如何搭建Hadoop集群的详细步骤和配置。首先，我需要回忆之前学过的Hadoop集群搭建知识，确保步骤正确。记得Hadoop集群通常分为完全分布式模式，需要多台机器，比如hadoop102、hadoop103、hadoop104这样的命名。用户提供的引用里提到了设置这些节点，并测试SSH连接，还有上传安装包。可能这些是关键的步骤。 接下来，我应该按照逻辑分步骤讲解。首先准备环境，包括服务器、Java安装、主机名和hosts文件的配置，以及SSH免密登录的设置。这些都是搭建集群的基础。然后，安装Hadoop，解压安装包，配置环境变量。接下来是核心的配置文件修改，比如hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml以及workers文件。每个配置文件的作用需要简要说明，比如core-site.xml设置NameNode地址，hdfs-site.xml配置副本数等。 配置完成后，需要同步到其他节点，这里可以用scp命令或者rsync。然后初始化HDFS，启动集群，最后验证是否成功，比如jps查看进程，或者访问Web界面。可能用户在实际操作中会遇到问题，比如SSH连接失败，端口占用，或者配置文件错误，这些常见问题应该提及解决方案。 另外，用户的问题可能涉及到具体的配置参数，比如副本数设置成多少合适，或者资源管理器的配置，这些需要根据集群规模给出建议。比如小型集群副本数可以设为2，但生产环境通常3。还有安全模式的问题，可能需要关闭防火墙或者配置SELinux。 需要确保所有的命令和路径都是正确的，比如JAVA_HOME的路径是否正确，Hadoop的安装目录是否一致。同时，用户可能需要知道如何验证集群是否正常工作，比如运行一个测试的MapReduce作业，或者检查日志文件。 最后，生成相关问题的时候，应该围绕用户可能进一步关心的问题，比如配置参数优化、添加节点、安全配置、性能调优等。这些能帮助用户更深入理解集群管理和维护。</think>### Hadoop集群搭建步骤详解 #### 一、环境准备（3节点示例） 1. **服务器规划** - hadoop102（NameNode + DataNode） - hadoop103（ResourceManager + DataNode） - hadoop104（SecondaryNameNode + DataNode） 2. **基础配置** - 所有节点安装JDK 8+并配置环境变量： ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` - 配置主机名和/etc/hosts文件： ```bash 192.168.1.102 hadoop102 192.168.1.103 hadoop103 192.168.1.104 hadoop104 ``` - 配置SSH免密登录： ```bash ssh-keygen -t rsa ssh-copy-id hadoop102 ssh-copy-id hadoop103 ssh-copy-id hadoop104 ``` #### 二、Hadoop安装与配置 1. **解压安装包** ```bash tar -zxvf hadoop-3.3.6.tar.gz -C /opt/module/ ``` 2. **配置环境变量** ```bash export HADOOP_HOME=/opt/module/hadoop-3.3.6 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 3. **修改核心配置文件** - `etc/hadoop/hadoop-env.sh`： ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` - `etc/hadoop/core-site.xml`： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop102:8020</value> </property> </configuration> ``` - `etc/hadoop/hdfs-site.xml`： ```xml <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration> ``` #### 三、集群同步与启动 1. **分发配置到所有节点** ```bash scp -r /opt/module/hadoop-3.3.6 hadoop103:/opt/module/ scp -r /opt/module/hadoop-3.3.6 hadoop104:/opt/module/ ``` 2. **初始化HDFS** ```bash hdfs namenode -format ``` 3. **启动集群** ```bash start-dfs.sh # 启动HDFS start-yarn.sh # 启动YARN ``` #### 四、验证集群状态 1. **进程验证** ```bash jps # hadoop102应显示NameNode/DataNode # hadoop103应显示ResourceManager/NodeManager ``` 2. **Web界面验证** - HDFS状态：`http://hadoop102:9870` - YARN状态：`http://hadoop103:8088` #### 五、常见问题解决 1. **SSH连接失败** - 检查防火墙状态：`systemctl stop firewalld` - 验证公钥是否完整复制到`~/.ssh/authorized_keys` 2. **端口冲突** - 使用`netstat -tunlp | grep 8020`检查默认端口占用情况 3. **HDFS无法格式化** - 删除所有节点的`/tmp/hadoop-*`目录后重试[^1]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值