Hadoop实践（二）---集群搭建之Hadoop 2.7.3

最新推荐文章于 2024-04-27 23:34:37 发布
最新推荐文章于 2024-04-27 23:34:37 发布
阅读量1.5k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hadoop Hadoop实践 文章标签： hadoop集群 apache hadoop 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Wee_Mita/article/details/53911747
本文详细介绍了如何搭建Hadoop 2.7.3集群，包括环境配置、守护进程设置、配置文件详解及集群启动与关闭流程。通过此教程，读者将能够了解并实践Hadoop集群的搭建步骤。

1. 目的

  1. 本文档描述了如何安装和配置Hadoop集群，范围从几个节点到具有数千个节点的极大集群。要使用Hadoop，您可能首先要在单个计算机上安装它（请参阅单节点设置）。
  2. 本文档不包括高级主题，例如安全性或高可用性。

2. 前期准备

  1. 安装Java,有关已知的好版本，请参阅Hadoop Wiki。
  2. 从Apache镜像下载一个稳定版本的Hadoop。

3. 安装

  1. 安装Hadoop集群通常涉及在群集中的所有机器上打开软件包，或者通过适用于您的操作系统的包装系统来安装它。将硬件分成功能是很重要的。
  2. 通常，集群中的一台计算机被指定为NameNode，另一台计算机被指定为ResourceManager。这些是Masters。其他服务（例如Web App代理服务器和MapReduce作业历史记录服务器）通常在专用硬件或共享基础设施上运行，具体取决于负载。
  3. 集群中的其余计算机充当DataNode和NodeManager。这些是Slaves。

4. 在非安全模式下配置Hadoop

Hadoop的Java配置由两种类型的重要配置文件驱动：

  1. 只读缺省配置–core-default.xml，hdfs-default.xml，yarn-default.xml和mapred-default.xml。

  2. 设置特定的配置 - etc / hadoop / core-site.xml，etc / hadoop / hdfs-site.xml，etc / hadoop / yarn-site.xml和etc / hadoop / mapred-site.xml。

此外，您可以通过etc / hadoop / hadoop-env.sh和etc / hadoop / yarn-env.sh设置特定于站点的值，从而控制分发包的bin /目录中的Hadoop脚本。

要配置Hadoop集群，您需要配置Hadoop守护程序执行的环境以及Hadoop守护程序的配置参数。

HDFS守护程序是NameNode，SecondaryNameNode和DataNode。
YARN 守护进程是ResourceManager，NodeManager和WebAppProxy。
如果要使用MapReduce，则MapReduce作业历史记录服务器也将运行。对于大型安装，这些通常在单独的主机上运行。

4.1配置Hadoop后台进程的环境

管理员应该使用etc / hadoop / hadoop-env.sh和可选的etc / hadoop / mapred-env.sh和etc / hadoop / yarn-env.sh脚本对Hadoop守护进程环境进行特定于站点的定制

至少，您必须指定JAVA_HOME，以便在每个远程节点上正确定义它。

管理员可以使用下表中所示的配置选项配置单个守护程序：

DaemonEnvironment Variable
NameNodeHADOOP_NAMENODE_OPTS
DataNodeHADOOP_DATANODE_OPTS
Secondary NameNodeHADOOP_SECONDARYNAMENODE_OPTS
ResourceManagerYARN_RESOURCEMANAGER_OPTS
NodeManagerYARN_NODEMANAGER_OPTS
WebAppProxyYARN_PROXYSERVER_OPTS
Map Reduce Job History ServerHADOOP_JOB_HISTORYSERVER_OPTS

例如，要配置Namenode以使用parallelGC，应在hadoop-env.sh中添加以下语句：

 export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC"

有关其他示例，请参阅etc / hadoop / hadoop-env.sh。

您可以自定义的其他有用的配置参数包括：

  • HADOOP_PID_DIR - 守护进程id文件的存储目录。
  • HADOOP_LOG_DIR - 守护程序日志文件的存储目录。如果日志文件不存在，则自动创建日志文件。
  • HADOOP_HEAPSIZE / YARN_HEAPSIZE - 要使用的最大堆大小，以MB为单位。如果varibale设置为1000，则堆将设置为1000MB。这用于配置守护程序的堆大小。默认情况下，值为1000。如果要为每个deamon分别配置值，您可以使用。

在大多数情况下，应指定HADOOP_PID_DIR和HADOOP_LOG_DIR目录，以便只能由要运行hadoop守护程序的用户写入。否则，有可能发生符号链接攻击。

在系统范围的shell环境配置中配置HADOOP_PREFIX也是传统的。例如，一个简单的脚本在/etc/profile.d：

HADOOP_PREFIX=/path/to/hadoop
export HADOOP_PREFIX
DaemonEnvironment Variable
ResourceManagerYARN_RESOURCEMANAGER_HEAPSIZE
NodeManagerYARN_NODEMANAGER_HEAPSIZE
WebAppProxyYARN_PROXYSERVER_HEAPSIZE
Map Reduce Job History ServerHADOOP_JOB_HISTORYSERVER_HEAPSIZE

4.2配置Hadoop守护程序

本节介绍在给定配置文件中指定的重要参数：

etc/hadoop/core-site.xml
ParameterValueNotes
fs.defaultFSNameNode URIhdfs://host:port/
io.file.buffer.size131072用于SequenceFiles中的读/写缓冲区的大小。
etc/hadoop/hdfs-site.xml
  • 1.NameNode的配置：
ParameterValueNotes
dfs.namenode.name.dir在本地文件系统上，NameNode永久存储命名空间和事务日志的路径。如果这是以逗号分隔的目录列表，那么将在所有目录中复制名称表，以实现冗余。
dfs.hosts / dfs.hosts.exclude允许/排除的DataNode列表。如果需要，使用这些文件来控制允许的数据节点的列表。
dfs.blocksize268435456对于大文件系统，HDFS块大小为256MB。
dfs.namenode.handler.count100更多NameNode服务器线程来处理来自大量DataNode的RPC。
  • 2.DataNode的配置：
ParameterValueNotes
dfs.datanode.data.dir逗号分隔DataNode的本地文件系统上应存储其块的路径列表。如果这是以逗号分隔的目录列表，则数据将存储在所有命名目录中，通常在不同的设备上。
etc/hadoop/yarn-site.xml
  • ResourceManager和NodeManager的配置：
ParameterValueNotes
yarn.acl.enabletrue / false启用ACL？默认为false。
yarn.admin.aclAdmin ACLACL在集群上设置管理员。 ACL的用法是逗号分隔的用户空间命令分隔组。默认为特殊值*，意味着任何人。只有空间的特殊价值意味着没有人可以访问。
yarn.log-aggregation-enablefalse配置启用或禁用日志聚合
  • 1.ResourceManager的配置：
ParameterValueNotes
yarn.resourcemanager.addressResourceManager主机：客户端提交作业的端口。host：port如果设置，将覆盖yarn.resourcemanager.hostname中设置的主机名。
yarn.resourcemanager.scheduler.addressResourceManager主机：ApplicationMasters的端口，与调度程序交谈以获取资源。host：port如果设置，将覆盖yarn.resourcemanager.hostname中设置的主机名。
yarn.resourcemanager.resource-tracker.addressResourceManager主机：NodeManager的端口。host：port如果设置，将覆盖yarn.resourcemanager.hostname中设置的主机名。
yarn.resourcemanager.admin.addressResourceManager 主机：管理命令的端口。host：port如果设置，将覆盖yarn.resourcemanager.hostname中设置的主机名。
yarn.resourcemanager.webapp.addressResourceManager web-ui主机：端口。host：port如果设置，将覆盖yarn.resourcemanager.hostname中设置的主机名。
yarn.resourcemanager.hostnameResourceManager主机。host可以设置的单个主机名，而不是设置所有yarn.resourcemanager *地址资源。在ResourceManager组件的默认端口中结果。
yarn.resourcemanager.scheduler.classResourceManager调度程序类CapacityScheduler（推荐），FairScheduler（也推荐）或FifoScheduler
yarn.scheduler.minimum-allocation-mb在资源管理器中为每个容器请求分配的内存的最小限制。In MBs
yarn.scheduler.maximum-allocation-mb在资源管理器中为每个容器请求分配的内存的最大限制。In MBs
yarn.resourcemanager.nodes.include-path / yarn.resourcemanager.nodes.exclude-path允许/排除的NodeManager列表。如果需要，使用这些文件来控制允许的NodeManager的列表。
  • 2.NodeManager的配置：
ParameterValueNotes
yarn.nodemanager.resource.memory-mb资源，即给定NodeManager的可用物理内存（MB）定义NodeManager上可用于运行容器的总可用资源
yarn.nodemanager.vmem-pmem-ratio任务的虚拟内存使用率可能超过物理内存的最大比率每个任务的虚拟内存使用可能会超过其物理内存限制。 NodeManager上的任务使用的虚拟内存总量可能会超过其物理内存使用率。
yarn.nodemanager.local-dirs在写入中间数据的本地文件系统上的路径的逗号分隔列表。M多路径帮助传播磁盘i / o
yarn.nodemanager.log-dirs在写入日志的本地文件系统上的路径的逗号分隔列表。多路径帮助传播磁盘i / o。
yarn.nodemanager.log.retain-seconds10800在NodeManager上保留日志文件的默认时间（以秒为单位）仅适用于禁用日志聚合的情况。
yarn.nodemanager.remote-app-log-dir/logs应用程序完成时移动应用程序日志的HDFS目录。需要设置适当的权限。仅适用于启用日志聚合。
yarn.nodemanager.remote-app-log-dir-suffixlogs后缀附加到远程日志目录。日志将聚合到 yarn.nodemanager.remote−app−log−dir/ {user} / $ {thisParam}仅适用于启用日志聚合。
yarn.nodemanager.aux-servicesmapreduce_shuffle需要为Map Reduce应用程序设置的Shuffle服务。
  • 3.历史记录服务器的配置（需要移动到其他位置）：
ParameterValueNotes
yarn.log-aggregation.retain-seconds-1在删除聚合日志之前保留聚合日志多长时间。 -1禁用。小心，设置太小，你将垃圾邮件的名称节点。
yarn.log-aggregation.retain-check-interval-seconds-1检查聚合日志保留之间的时间。如果设置为0或负值，那么该值将计算为聚合日志保留时间的十分之一。小心，设置太小，你将垃圾邮件的名称节点。
etc/hadoop/mapred-site.xml
  • 1.MapReduce应用程序的配置：
ParameterValueNotes
mapreduce.framework.nameyarn执行框架设置为Hadoop YARN。
mapreduce.map.memory.mb1536maps较大资源限制。
mapreduce.map.java.opts-Xmx1024Mmaps的子jvms的较大堆大小。
mapreduce.reduce.memory.mb3072reduces较大资源限制。
mapreduce.reduce.java.opts-Xmx2560Mreduces的子jvms的较大堆大小。
mapreduce.task.io.sort.mb512更高的内存限制，同时排序数据的效率。
mapreduce.task.io.sort.factor100更高的内存限制，同时排序数据的效率。
mapreduce.reduce.shuffle.parallelcopies50通过减少运行的并行副本的数量以从非常大量的映射获取输出。
  • 2.MapReduce的配置JobHistory服务器：
ParameterValueNotes
mapreduce.jobhistory.addressMapReduce JobHistory服务器主机：端口默认端口为10020。
mapreduce.jobhistory.webapp.addressMapReduce JobHistory服务器Web UI主机：端口默认端口为19888。
mapreduce.jobhistory.intermediate-done-dir/mr-history/tmp历史文件由MapReduce作业写入的目录。
mapreduce.jobhistory.done-dir/mr-history/done历史文件由MR JobHistory Server管理的目录。

5.监视NodeManager的运行状况

Hadoop提供了一种机制，管理员可以通过该机制来配置NodeManager定期运行管理员提供的脚本，以确定节点是否健康。

管理员可以通过对脚本中的选择执行任何检查来确定节点是否处于健康状态。如果脚本检测到节点处于不正常状态，则它必须将一行打印到以字符串ERROR开头的标准输出。

NodeManager定期生成脚本并检查其输出。如果脚本的输出包含字符串ERROR，如上所述，则将该节点的状态报告为不正常，并且该节点由ResourceManager列入黑名单。不会将其他任务分配给此节点。

但是，NodeManager继续运行脚本，因此如果节点再次变得健康，则会自动从ResourceManager上的黑名单节点中删除。节点的健康状况以及脚本的输出（如果不正常）可供ResourceManager Web界面中的管理员使用。节点健康后的时间也显示在Web界面上。

以下参数可用于控制etc / hadoop / yarn-site.xml中的节点运行状况监视脚本。
ParameterValueNotes
yarn.nodemanager.health-checker.script.path节点运行状况脚本检查节点健康状态的脚本。
yarn.nodemanager.health-checker.script.opts节点运行状况脚本选项脚本选项，用于检查节点的运行状况。
yarn.nodemanager.health-checker.script.interval-ms节点运行状况脚本间隔运行健康脚本的时间间隔。
yarn.nodemanager.health-checker.script.timeout-ms节点运行状况脚本超时时间间隔运行健康脚本执行的超时。

如果只有一些本地磁盘变坏，健康检查器脚本不应该给出错误。NodeManage 能够定期检查本地磁盘的健康状况（特别是检查nodemanager-local-dirs和nodemanager-log-dirs），并且在达到阈值后，根据为配置属性yarn.nodemanager设置的值 .disk-health-checker.min-healthy-disks，整个节点被标记为不健康，并且此信息也被发送到资源管理器。 引导磁盘被突袭或引导磁盘中的故障由运行状况检查器脚本标识。

6.Slaves 文件

列出etc / hadoop / slaves文件中的所有从属主机名或IP地址，每行一个。 辅助程序脚本（如下所述）将使用etc / hadoop / slaves文件在多个主机上同时运行命令。 它不用于任何基于Java的Hadoop配置。 为了使用此功能，必须为用于运行Hadoop的帐户建立ssh信任（通过passphrasess ssh或一些其他方式，如Kerberos）。

7.Hadoop机架意识

许多Hadoop组件是机架感知的，并且利用网络拓扑结构的性能和安全性。 Hadoop守护程序通过调用管理员配置的模块获取集群中从站的机架信息。 有关更多具体信息，请参阅机架感知文档。

强烈建议在启动HDFS之前配置机架感知。

8.记录

Hadoop通过Apache Commons Logging框架使用Apache log4j进行日志记录。编辑etc / hadoop / log4j.properties文件以自定义Hadoop守护程序的日志记录配置（日志格式等）。

9.操作Hadoop集群

一旦完成所有必要的配置，将文件分发到所有计算机上的HADOOP_CONF_DIR目录。这应该是所有机器上的同一目录。

9.1Hadoop启动

要启动Hadoop集群，您需要启动HDFS和YARN集群。

第一次启动HDFS时，必须格式化。将新的分布式文件系统格式化为hdfs：
[hdfs]$ $HADOOP_PREFIX/bin/hdfs namenode -format <cluster_name>
使用以下命令在指定节点上启动HDFS NameNode为hdfs：
[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode
在每个指定节点上使用以下命令启动HDFS DataNode为hdfs：
[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode
如果配置了etc / hadoop / slaves和ssh信任访问（请参阅单节点设置），则可以使用实用程序脚本启动所有HDFS进程。作为hdfs：
[hdfs]$ $HADOOP_PREFIX/sbin/start-dfs.sh
使用以下命令启动YARN，在指定的ResourceManager上作为yarn运行：
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager
运行脚本以在每个指定的主机上启动NodeManager作为yarn：
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR start nodemanager
启动独立的WebAppProxy服务器。作为yarn在WebAppProxy服务器上运行。如果多个服务器使用负载平衡，则应在每个服务器上运行：
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver
如果配置了etc / hadoop / slaves和ssh信任访问（请参阅单节点设置），则可以使用实用程序脚本启动所有YARN进程。作为yarn：
[yarn]$ $HADOOP_PREFIX/sbin/start-yarn.sh
使用以下命令启动MapReduce JobHistory Server，在指定的服务器上以mapred运行：
[mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR start historyserver

9.2Hadoop关闭

使用以下命令停止NameNode，在指定的NameNode上运行hdfs：
[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs stop namenode
运行脚本以将数据节点停止为hdfs：
[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs stop datanode
如果配置了etc / hadoop / slaves和ssh信任访问（请参阅单节点设置），则可能会使用实用程序脚本停止所有HDFS进程。作为hdfs：
[hdfs]$ $HADOOP_PREFIX/sbin/stop-dfs.sh
使用以下命令停止ResourceManager，在指定的ResourceManager上作为yarn运行：
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop resourcemanager
运行脚本以将slave上的NodeManager停止为yarn：
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config $HADOOP_CONF_DIR stop nodemanager
如果配置了etc / hadoop / slaves和ssh信任访问（请参阅单节点设置），则可以使用实用程序脚本停止所有YARN进程。作为yarn：
[yarn]$ $HADOOP_PREFIX/sbin/stop-yarn.sh
停止WebAppProxy服务器。作为yarn在WebAppProxy服务器上运行。如果多个服务器使用负载平衡，则应在每个服务器上运行：
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR stop proxyserver
使用以下命令停止MapReduce JobHistory Server，在指定的服务器上以mapred运行：
[mapred]$ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR stop historyserver

10.Web界面

一旦Hadoop集群启动并运行，请检查组件的web-ui，如下所述：
DaemonWeb InterfaceNotes
NameNodehttp://nn_host:port/默认HTTP端口为50070。
ResourceManagerhttp://rm_host:port/默认HTTP端口为8088。
MapReduce JobHistory Serverhttp://jhs_host:port/默认HTTP端口为19888。
HaDoop关闭图形界面
一叶_障目
11-22 2087
简介：在虚拟机中运用hadoop时，默认开启图形界面。对于伪分布式而言，只有一个节点，计算机内存还吃得消。但如果是在一个电脑上创建多个虚拟机，且同时使用图形界面，那么计算机内存就吃不消了，所以建议使用命令行界面。
Hadoop Web 控制台安全认证
徐小慧_Blog的博客
07-13 3260
Hadoop 2.x 版本，默认情况下，可以通过 http://ip地址:50070/explorer.html 访问HDFS页面，查看Namenode和Datanode状态，以及HDFS的相关文件等。但是这存在安全隐患，可能导致我们的文件信息的泄露，如果我们在页面里面添加个认证机制，只有验证之后的用户才可以进入页面里操作。...
Hadoop/Yarn REST API未授权访问漏洞
weixin_44455388的博客
09-27 5269
一、基本情况 漏洞分布：所有版本 漏洞级别：高危 漏洞类别：未授权漏洞 漏洞URL： http://25.215.209.1:19888/ http://25.215.209.1:50070/ http://25.215.209.1:50090/ http://25.215.209.1:50075/ http://25.215.209.1:8088/cluster 二、漏洞描述 Hadoop是一个由Apache基金会所开发的分布式系统基础架构，由于服务器直接在开放了 Hadoop 机器 HDFS 的
大数据组件_启动关闭web查看
qq_45972323的博客
04-03 625
hadoop cd # myhadoop.sh start # myhadoop.sh stop #Web端查看HDFS的NameNode http://hadoop102:9870 #Web端查看YARN的ResourceManager http://hadoop103:8088 #历史服务器地址 http://hadoop102:19888/jobhistory
Hadoop Web 控制台安全认证_关闭hadoop web管理页面
最新发布
2401_84170337的博客
04-27 463
这个名称要和上面web里的realm-name一致。存放用户和用户密码的地方。
hadoop-common-2.7.3-bin-master-windows
03-21
在Windows上安装Hadoop，首先需要下载`hadoop-common-2.7.3-bin-master-windows`压缩包，解压后设置环境变量`HADOOP_HOME`，指向解压后的目录。例如，如果解压路径为`C:\hadoop\common\2.7.3`，则在系统环境变量中...
hadoop-common-2.7.3-bin-master包含hadoop.dll、winutils.exe
01-18
总的来说，`hadoop-common-2.7.3-bin-master`包含的`hadoop.dll`和`winutils.exe`对于在Windows系统上搭建和使用Hadoop环境至关重要。理解这两个文件的作用和配置方法，可以帮助开发者在非Linux环境下顺利进行Hadoop...
hadoop-mapreduce-client-app-2.7.3-API文档-中英对照版.zip
07-14
赠送原API文档：hadoop-mapreduce-client-app-2.7.3-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-app-2.7.3-sources.jar； 赠送Maven依赖信息文件：hadoop-mapreduce-client-app-2.7.3.pom； 包含翻译后的...
hadoop-common-2.7.3.jar
11-08
hadoop-common-2.7.3.jar 下载　
hadoop-common-2.7.3-API文档-中文版.zip
05-01
赠送原API文档：hadoop-common-2.7.3-javadoc.jar； 赠送源代码：hadoop-common-2.7.3-sources.jar； 赠送Maven依赖信息文件：hadoop-common-2.7.3.pom； 包含翻译后的API文档：hadoop-common-2.7.3-javadoc-API文档...
常用的30+种未授权访问漏洞汇总
qq_50854662的博客
09-17 6072
常用的30+种未授权访问漏洞汇总
通过浏览器无法访问Hadoop管理页面
m0_67392182的博客
04-29 3074
http://[server_ip]:50070 Hadoop3.x端口号改变：9870 如果显示页面无法访问，有可能是服务器50070（9870）端口被关闭了。 通过如下方式打开50070（9870）端口: service iptables status #查询防火墙状态 service iptables start #开启防火墙 iptables -I INPUT -p tcp --dport 9870 -j ACCEPT #打开指定端口 iptables -I INPUT -p tcp --d
hadoop3访问hdfs web控制页面遇到的各种问题总结
web_15534206248的博客
08-17 2183
最近通过虚拟机安装配置了hadoop集群，集群虽然搭建起来了，不过通过浏览器访问管理界面的过程中遇到了一些问题，现整理总结一下。
hadoop web界面管理错误
xxx_gt的博客
10-17 1609
It looks like you are making an HTTP request to a hadoop IPC port. This is not the correct port for the web interface in this daemon. hadoop 3 中已经将端口改成 9870 所以在网址栏输入 localhost:9870 即可。
生产环境实战spark （8）分布式集群 Hadoop集群WEBUI打不开问题解决，关闭防火墙firewall
大模型与Agent智能体
04-25 2377
生产环境实战spark （8）分布式集群  Hadoop集群WEBUI打不开问题解决在上一步中安装了Hadoop集群，发现127.0.0.1:50070 页面无法打开。1，master本地检查webui     在云平台master上直接打开浏览器，检查127.0.0.1：50070可以打开。    初步定位是防火墙的问题2，关闭防火墙。CentOS 7.0默认使用的是firewall作为防火墙,
hadoop的web管理界面打不开解决办法
热门推荐
qq_34457768的博客
05-24 1万+
初学hadoop，试着搭建hadoop伪分布式，一开始在配置core-site.xml和yarn-site.xml时用的是127.0.0.1，初始化、启动啥的都没问题，但是在用外网访问web管理界面时却打不开；考虑到我这边的服务器用的是阿里云的公网ECS，所以试着在core-site.xml配置公网ip，没想到namenode启动失败，查看日志，发现报错：Cannot assign request...
7 Hadoop集群启停命令、Web UI
THE ORDER
02-09 552
1手动逐个进程启停 2shell脚本一键启停 Hadoop集群 start-all.sh stop-all.sh 3进程状态、日志查看 4HDFS集群 5YARN集群 6总结 一键启动 Hadoop集群 start-all.sh stop-all.sh hdfs集群 地址：http://namenode_host:9870 其中namenode_host是namenode运行所在机器的主机名或者ip 如果使用主机名访问，别忘了在Windows配置hosts yarn集群 地址：http://re
hadoop管理界面介绍和使用
JOLBA的博客
12-16 5229
hadoop管理界面介绍和使用 hadoop管理界面的登录 在浏览器输入外网ip加端口号 ip:port即可登录 ，hadoop管理界面端口号50070 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-naeGDfAR-1576425909909)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-...
Hadoop-2.7.3分布式安装教程
标题："Hadoop-2.7.3安装包" 描述："Hadoop-2.7.3安装包"重复提及了Hadoop-2.7.3版本的安装包，这可能是为了强调该安装包的重要性或者是在某种搜索或列表环境下，用于提高关键词匹配度。描述部分没有提供更多细节，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值