Hadoop 的配置、启动

最新推荐文章于 2025-03-18 11:51:55 发布
最新推荐文章于 2025-03-18 11:51:55 发布
阅读量620 收藏
点赞数 1
分类专栏： 框架学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43560566/article/details/114365917
版权
本文详细介绍Hadoop集群的配置步骤，包括核心配置文件的设置，如core-site.xml、hdfs-site.xml等，并介绍了如何通过scp命令将配置同步至各节点，最后给出了启动集群的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

前提

  • 三台 linux（或虚拟机）的 ssh 免密登录（本人使用 root 用户）
  • Zookeeper 集群启动
  • java 环境变量配置

配置

  • 先在一台 linux 上配置，再 scp 命令复制到其他 linux 上
  • 配置文件都在 hadoop/etc/hadoop 目录下

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>

	<!-- 分布式文件系统 -->
	<property>
		<name>fs.default.name</name>
		<value>hdfs://node1:8020</value>
	</property>
	<!-- 临时文件目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/hadoop/data/tmp</value>
	</property>
	


	<!-- 缓冲区大小，根据实际调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>
	
	<!-- 垃圾超时时间（分钟） -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
	
</configuration>

hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

# hadoop3.0 以后，权限控制更严格
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
	
	<!-- namenode 访问地址，hadoop3.0 默认改为 9870 端口 -->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>node1:9870</value>
	</property>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>node2:9868</value>
	</property>
	



	<!-- namenode/datanode 数据存放目录 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///usr/local/hadoop/data/namenodeData, file:///usr/local/hadoop/data/namenodeData2</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///usr/local/hadoop/data/datanodeData, file:///usr/local/hadoop/data/datanodeData2</value>
	</property>
	
	<!-- 日志文件存放目录 -->
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///usr/local/hadoop/data/nn/edits</value>
	</property>
	
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///usr/local/hadoop/data/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///usr/local/hadoop/data/snn/edits</value>
	</property>
	
	<!-- 文件副本数 -->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	
	<!-- 设置 hdfs 的文件权限（关闭） -->
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	<!-- 文件副本数 -->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	</property>
	
	<!-- 文件切片大小（128M） -->
	<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
	
</configuration>

mapred-env.sh

export JAVE_HOME=/usr/local/jdk

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>

	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	
	<property>
		<name>yarn.app.mapreduce.am.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<property>
		<name>mapreduce.map.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<property>
		<name>mapreduce.reduce.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	
	<property>
    <name>yarn.app.mapreduce.am.resource.mb</name>
    <value>1200</value>
	<description>表示MRAppMaster需要的总内存大小，默认是1536</description>
</property>
<property>
    <name>yarn.app.mapreduce.am.command-opts</name>
    <value>-Xmx800m</value>
   	<description>表示MRAppMaster需要的堆内存大小，默认是：-Xmx1024m</description>
</property>
<property>
    <name>yarn.app.mapreduce.am.resource.cpu-vcores</name>
    <value>1</value>
    <description>表示MRAppMaster需要的的虚拟cpu数量，默认是：1</description>
</property>

<property>
    <name>mapreduce.map.memory.mb</name>
    <value>512</value>
	<description>表示MapTask需要的总内存大小，默认是1024</description>
</property>
<property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx300m</value>
    <description>表示MapTask需要的堆内存大小，默认是-Xmx200m</description>
</property>
<property>
    <name>mapreduce.map.cpu.vcores</name>
    <value>1</value>
    <description>表示MapTask需要的虚拟cpu大小，默认是1</description>
</property>

<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>512</value>
    <description>表示ReduceTask需要的总内存大小，默认是1024</description>
</property>
<property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx300m</value>
    <description>表示ReduceTask需要的堆内存大小，默认是-Xmx200m</description>
</property>
<property>
    <name>mapreduce.reduce.cpu.vcores</name>
    <value>1</value>
    <description>表示ReduceTask需要的虚拟cpu大小，默认是1</description>
</property>

</configuration>

yarn-site.xml

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>

<!-- Site specific YARN configuration properties -->


	<!-- 主节点位置 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node1</value>
	</property>
	<property>
		<name>yarn.resourcemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!-- 关闭 yarn 的内存检查，准备配置 spark -->
	<property>
		<name>yarn.nodemanager.pmem-check-enabled</name>
		<value>false</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>
	


	<!-- 日志聚合功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	
	<!-- 聚合日志在 hdfs 上的保存时间 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
	
	<!-- 设置集群的内存分配方案 -->
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>20480</value>
	</property>
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>2048</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.1</value>
	</property>

</configuration>

workers

  • Hadoop 3.0 以前版本也叫 slaves
node1
node2
node3
记得创建上述配置文件中的必要的路径

启动

  • 使用 hdfs namenode -format 命令格式化 namenode
  • 使用 hadoop/sbin/start-all.sh 启动 Hadoop 集群
  • jps 查看进程
  • 主机上有 NameNode，DataNode，SecondaryNameNode，ResourceManager，NodeManager
  • 从机上有 DataNode，NodeManager
Hadoop集群如何启动
qq_28725295的博客
02-01 1937
Hadoop集群如何启动 1 hadoop软件安装的目录：/opt/app 有如下软件：hbase、spark-2.1.0-bin-hadoop2.4、hbconf、sqoop、hdconf、hive、zookper-3.4.6、hadoop-2.5.2、java1.8.0_121、spark-1.5.2-bin-2.5.2 集群1（分析集群）启动 依次zookper、hadoop服务、spark...
Hadoop配置启动时jps没有namenode和secondaryname，，网上方法都试过了没有用
youhen921124的博客
03-20 2477
参考守护进程布局-->参考守护进程布局-->-- 指定 namenode 的 hdfs 协议文件系统的通信地址 -->--配置resourcemanager的scheduler的内部通讯地址-->--配置resourcemanager的web ui 的监控页面-->--配置resourcemanager的管理员的内部通讯地址-->--配置resoucemanager的资源调度的内部通讯地址-->--配置resourcemanager的内部通讯地址-->-- 指定resourcemanager的主机名-->
hadoop 安装配置启动
weixin_33797791的博客
07-18 175
1. Ubuntu12.04基本设置 1) 设置与Windows共享(通过hgfs) 2) 设置root密码 sudo passwd root 3) 设置root登录 vim /etc/lightdm/lightdm.conf 在最后添加一行：greeter-show-manual-...
配置并启动Hadoop集群
最新发布
2501_90813563的博客
03-18 512
可以查看各个节点启动的进程。在浏览器输入master的ip 172.18.0.2:9870 查看节点状态。目录下的配置文件，这里仅设置正常启动必须的设置项，包括。4、修改文件mapred-site.xml。5、修改文件yarn-site.xml。6、修改文件hadoop-env.sh。2、修改文件core-site.xml。3、修改文件hdfs-site.xml。(3.x需要配置)共6个文件。配置集群环境时，需要修改。1、修改文件workers。将整个文件替换为如下内容。
启动hadoop
曾经蜡笔没有小新
06-20 2504
[root@chen1 ~]# hadoop-daemon.sh start namenode starting namenode, logging to /data/app/hadoop-2.7.2/logs/hadoop-root-namenode-chen1.out [root@chen1 ~]# hadoop-daemon.sh start datanode starting datano...
Hadoop启动
web15286201346的博客
09-02 1万+
这里会给你报出不赞同的问题，但是也是可以使用的，最好是采用分别运行HDFS、YARN的方式来启动Hadoop。额外说一下分别运行HDFS、YARN的方式来启动Hadoop（非常简单）博主用的是Cent0S XShell7使用Hadoop。这个时候就启动成功了。输入jps就可以查看进程了。这个时候，你的Hadoop已经运行起来了。1.启动Hadoop。
hadoop配置 启动
PJF1501105594的博客
04-15 280
配置文件均在hadoop-x.x.x/etc/hadoop子目录下 配置核心文件 编辑core-site.xml文件 <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> //以下配置可以不配 <name>hadoop.tmp.dir</name> &lt
Linux修改hadoop配置文件及启动hadoop集群详细步骤
m0_74830349的博客
09-22 5768
pwd。
hadoop配置文件
CHEN的博客笔记
11-19 5244
安装前的工作： jdk 集群中节计算机互联互通 关闭防火墙 节点间的计算机免密码登录（authorized_keys认证文件root用户存放在/root/.ssh/） (User用户 /home/user/.ssh/) A计算机免密码登录B计算机，将A计算机的公钥存放在B计算机的认证文件authorized_keys 产生 安装hadoop Bin目录-命令eg : hadoop namenode -format Sbin目录-各种启动文件\停止服务 Etc/hadoop/ 各种配置文件 1.hadoo
hadoopAutomation:自动化代码以配置Hadoop和启动集群服务
03-21
本项目“hadoopAutomation”专注于自动化Hadoop的配置和集群服务的启动，极大地简化了Hadoop环境搭建的过程，节省了时间和精力，尤其对于需要频繁进行环境部署的开发和测试团队而言，这是一个非常实用的工具。...
hadoop配置参数
09-07
- **权限**：所有配置文件和数据目录必须有正确的权限，通常需要对用户可读写，且启动Hadoop的用户拥有所有权。 - **格式化NameNode**：首次启动Hadoop集群前，需要对NameNode进行格式化，这会清除所有HDFS数据，...
Hadoop配置和启动
Zimuxs的博客
04-25 6548
Apache的Hadoop是一个开源的、可靠的、可扩展的系统架构，可利用分布式架构来存储海量数据，以及实 现分布式的计算。 Hadoop允许使用简单的编程模型在计算机集群中对大型数据集进行分布式处理。可以从单个服务器扩展到数 千台机器，每个机器都提供本地计算和存储，而不是依靠硬件来提供高可用性。 此外，Hadoop集群的高可用性也非常良好，因为框架内的机制是可以够自动检测和处理故障。 Hadoop的两个作用： ①存储海量数据 ②计算海量数据 Hadoop配置及启动的准备工作: 启
Hadoop入门-1.配置部署启动（基于hadoop-2.7.3）
上路者的博客
02-21 5768
1.准备 1.下载 hadoop-2.5.2.tar.gz 免安装包到指定的目录 2.执行命令: tar -zxvf hadoop-2.5.2.tar.gz 解压目录 2.配置 1.切换到指定的目录： 2.对相关的配置文件进行配置： core-site.xml 注：此时配置的namenode的地址 hdfs-site.xml 注：配置datanode的数量 slav
Hadoop启动命令
tbwikzzy的博客
09-08 9963
简单记录hadoop启动步骤
hadoop三种启动方式
热门推荐
极客栈
04-25 3万+
 第一种方式 启动：分别启动HDFS和MapReduce 命令如下：start-dfs.sh start-mapreted.sh 命令如下：stop-dfs.sh  stop-mapreted.sh 第二种方式 全部启动或者全部停止 启动： 命令：start-all.sh 启动顺序：NameNode，DateNode，Sec
Hadoop集群部署和启动与关闭_启动hadoop
2401_84181704的博客
04-11 2059
自定义配置文件，这些文件基本没有任何配置内容，存在于Hadoop安装目录下的etc/hadoop/目录中，包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等，开发人员可以根据实际需求进行修改，Hadoop会优先选择自定义配置文件中的参数。为了提高Hadoop集群的高可用性，通常使用ZooKeeper为Hadoop集群提供自动故障转移和数据一致性服务。完成系统环境变量文件profile配置后保存退出，不过此时配置内容尚未生效，还需要执行“
正确地启动hadoop
微电子学与固体电子学-俞驰
07-30 556
-----------------------环境----------------------- ubuntu16.04系统 64位 apache-hive-3.0.0-bin           spark-2.3.1-bin-hadoop2.7 scala2.11 JDK版本:jdk1.8.0_131 hadoop-3.0.3        笔记本y460             ---...
Hadoop HA集群配置与启动指南
在实际部署中，还需要配置Hadoop配置文件（如hdfs-site.xml和yarn-site.xml），指定JournalNode的位置、ZooKeeper的连接信息、NameNode和ResourceManager的HA模式等。此外，集群的网络环境、安全认证（如果启用）...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值