修改yarn默认端口

最新推荐文章于 2023-10-15 12:15:40 发布
原创 最新推荐文章于 2023-10-15 12:15:40 发布 · 1.3w 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客介绍了修改yarn默认端口的原因，因8088等端口是挖矿病毒热门踩点端口。还说明了修改端口的方法，在特定文件中增加配置，可参考官网参数，重启后Resource Manager端口成功修改为7776。

文章预览：

1.改yarn默认端口的原因

为什么要修改yarn默认的端口的愿意是因为像yarn、redis这种8088和6379端口是近年来挖矿病毒的热门踩点端口，具体的可参考这篇文章：https://segmentfault.com/a/1190000015264170

2.修改端口

1）在/home/hadoop/app/hadoop/etc/hadoop/yarn-site.xml 文件中增加以下配置：
在这里插入图片描述
图上为什么配置的是这个参数呢？ 参数在官网https://hadoop.apache.org/docs/r2.10.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 中查询参考在这里插入图片描述
在这里插入图片描述
重启之后可看到，Resource Manager已成功修改为7776端口
在这里插入图片描述

Hbase-2.4.11_hadoop-3.1.3集群_大数据集群_SSH修改默认端口22为其他端口---记录025_大数据工作笔记0185
添柴程序猿的专栏
01-29 844
在以下目录中:/opt/module/hadoop-3.1.3/bin/myhadoop.sh。需要修改/opt/module/hbase-2.4.11/conf/hbase-env.sh。在以下目录中:/opt/module/hadoop-3.1.3/bin/kfk.sh。在以下目录中:/opt/module/hadoop-3.1.3/bin/xsync。在以下目录中:/opt/module/hadoop-3.1.3/bin/zk.sh。中,找到对应的hadoop-env.sh文件。
Yarn 2025全攻略：从多平台安装到企业级工程化优化，解锁包管理新范式
从零开始，掌握网络安全。提供全面的网络安全教程、攻防演练技巧和行业动态。
07-10 834
Yarn 是 Facebook 开发的一款新的 JavaScript 包管理工具，与传统的 npm 包管理器相比，Yarn 具有更快、更安全和更稳定的特点。本文将详细介绍 Yarn 的安装、配置以及常见用法，帮助你快速上手 Yarn。
Hadoop修改yarn.resource.manager默认端口
red_sky_blue的专栏
06-16 2519
hadoop的resourcemanager为默认端口受到的木马
基于VitePress创建组件文档
随便写写
11-25 3079
创建属于自己的组件文档
【教程】使用vuepress构建静态文档网站，并部署到github上
橙子的博客
10-15 2429
【教程】使用vuepress构建静态文档网站，并部署到github上
Yarn的默认端口(转载)
微电子学与固体电子学-俞驰
05-06 8167
转载自: https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.6.5/bk_reference/content/yarn-ports.html Table1.22.YARN Service Ports Service Servers Default Ports Used Protocol Description...
HDFS,YARN,HBASE,ZOOKEEPER主要默认端口
Mr.Cai
03-17 1940
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。 组件 Daemon 端口 配置 说明
JavaScript React如何修改默认端口号方法详解
10-15
修改默认端口号的方法主要包括以下步骤： 1. 定位到start.js文件：首先，需要打开你的React项目文件夹，找到node_modules文件夹。在这个文件夹内，再依次进入到react-scripts文件夹，然后是scripts文件夹，最后你会...
vue.4.0 修改默认的端口号
01-20
网络上大部分是在config文件夹下，index.js 里面有个dev 里面的port。类似于这个链接。...但我的项目结构中就没有config文件夹呀。找了半天终于被我找到了。 ...路径为 movie_view\node_modules\@vue\cli-service...yarn ser
解决React Native端口号修改的方法
08-29
在React Native开发过程中，默认的端口号为8081，但是在某些情况下，可能会与其他服务冲突，导致端口号被占用无法使用。因此，需要修改端口号来解决冲突问题。 解决方案1：使用命令行修改端口号 ------------------...
hadoop之yarn
luo981695830的博客
01-26 5107
yarn介绍 yarn是Apache Hadoop YARN，hadoop中的组件，是英文简称，全程是Yet Another Resource Negotiator，另一种资源协调者，是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 hadoop进行资源管理和任务调度的是resourcemanager。后面会更新google三篇论文和yarn的演变过程 yarn的web界面..
Hadoop安装——如何修改端口冲突
weixin_30607029的博客
03-31 773
在一个集群中，尽管是多用户，但是端口是公用的，存在冲突的可能。如果另一个用户已经采用默认配置安装了hadoop，那么当前用户再安装hadoop时，必然会产生端口的冲突。在配置自己的hadoop时，可以自己配置datanode，namenode所需要的端口，避免冲突。 下述方法也可以用来解决一类因为端口冲突导致datanode、namenode和resourcemanage...
yarn组建端口
weixin_30512785的博客
01-02 404
YARN ResourceManager 8032 yarn.resourcemanager.address RM的applications manager(ASM)端口YARN ResourceManager 8030 yarn.resourcemanager.scheduler.address scheduler组件的IPC端口YARN ResourceManager 8031 yarn.re...
YARN的配置
code__gease的博客
03-19 4493
1.修改 etc/hadoop/mapred-site.xml文件 先备份该文件 cp mapred-site.xml mapred-site-bk.xml 修改文件 vi mapred-site.xml 在 <configuration> 之间插入 <property> <name>mapreduce.framework.name</name> <value>yarn</valu..
vue 端口号修改
qq_30253215的博客
04-09 354
首先找到 路径为 movie_view\node_modules@vue\cli-service\lib\options.js 的文件 然后 在页面最底部devServer 可以自己配置端口号
Hadoop2.0 编写Yarn应用 8030端口 调度
iteye_19353的博客
12-26 949
这个问题比较蛋疼啊，yarn应用不是自己写的(借鉴他人滴)，为了兼容mapreduce v1 所以使用了 org.apache.hadoop.mapreduce.Job 这个类来做客户端连接 如果不考虑兼容问题，可以直接使用 org.apache.hadoop.mapred.JobClient 来说说我碰到的这个问题：在多次执行yarn应用后，发现有成功有失败，而且几率不一定。 这种问题恼...
YARN的8088，8188，19888端口的区别
yang556677的博客
02-25 9365
8088是ResourceManager的web界面，对应下面配置字段： yarn.resourcemanager.webapp.address 输入端口号默认跳转到http://linux01:8088/cluster，主要管理功能，同时可以在applications可以看到任务运行的历史是由history server和timeline提供。 19888是yarn的histor...
【HADOOP】hadoop 8088端口无法访问
Zsigner的博客
07-08 6710
参考:https://blog.youkuaiyun.com/third_/article/details/85309653 Hadoop成功启动后 ip:50070可以访问到页面， 但是ip:8088提示无法访问该网站。 问题出在hadoop文件夹下/etc/hadoop/目录下的配置文件：yarn-site.xml 修改yarn-site.xml文件，将其<configuration>&...
Yarn的配置
qq_41848129的博客
06-23 825
Yarn是什么？ YARN（Yet Another Resource Negoitator 另一种资源协调者）是一个分布式的通用资源管理系统，其产生的原因是为了解决MapReduce框架的不足，在兼容旧版MapReduce框架的同时，提供了更好的扩展性、资源利用率以及用户灵活性 YARN的基本思想是将JobTracker的两大主要功能：资源管理和Job调度/监控 拆分为两个单独的守护进程：一...
hadoop, yarn，端口选择
最新发布
10-15
### Hadoop 和 YARN 常用端口及作用 Hadoop 和 YARN 不同组件有各自常用的端口，这些端口承担着不同的功能： - **Hadoop 相关**： - 8020：NameNode RPC 端口，用于处理客户端和 DataNode 的请求[^1]。 - 9000：NameNode HTTP（非高可用）端口，用于 Web 界面访问（如 HDFS 的 Web UI），在高可用配置中可能不常用[^1]。 - 50070：NameNode WebHDFS 端口，通过 HTTP 协议提供对 HDFS 的访问[^1]。 - 50010：DataNode 数据传输端口，用于 HDFS 内部的数据传输，例如 DataNode 与 NameNode 之间、DataNode 与客户端之间的数据读写操作[^1]。 - 50020：DataNode IPC 端口，用于接受来自 NameNode 或其他 DataNode 的命令和状态同步请求，在某些 Hadoop 版本中，这个端口可能与其他功能合并或更改[^1]。 - 50075：DataNode Web UI 端口，通常用于查看 DataNode 的状态和报告，但并不总是默认开启，且其 Web 界面可能不如 NameNode 的 Web 界面详细[^1]。 - **YARN 相关**： - 8088：YARN ResourceManager 的 Web UI 端口，用于监控和管理集群中的资源和任务[^1]。 ### 端口选择方法 - **遵循默认配置**：Hadoop 和 YARN 官方已经为各个组件分配了默认端口，在大多数情况下，使用默认端口可以避免不必要的配置问题，并且方便与其他工具和系统集成。例如，NameNode 的 RPC 端口默认是 8020，ResourceManager 的 Web UI 端口默认是 8088。 - **根据集群规模和需求调整**：如果集群规模较大，或者有特殊的安全和性能需求，可以考虑调整端口。比如，为了提高安全性，可以将一些对外暴露的端口修改为非标准端口，减少被攻击的风险。 ### 相关注意事项 - **端口冲突**：在选择端口时，要确保所选端口没有被其他服务占用。可以使用 `netstat -tulnp | grep <端口号>` 命令来检查端口占用情况。例如，如果要检查 8088 端口是否被占用，可以执行 `netstat -tulnp | grep 8088` [^2]。 - **配置文件同步**：如果修改了端口配置，需要确保在集群的所有节点上同步更新相关的配置文件，否则会导致节点之间无法正常通信。例如，修改了 NameNode 的端口，需要在所有 DataNode 和客户端的配置文件中更新相应的端口信息。 - **防火墙设置**：要确保防火墙允许 Hadoop 和 YARN 组件之间通过所选端口进行通信。例如，如果修改了 ResourceManager 的端口，需要在防火墙中开放该端口，以保证客户端能够正常访问 Web UI。 ### 示例配置 在 `core-site.xml` 中配置 NameNode 的端口： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:8020</value> </property> </configuration> ``` 在 `yarn-site.xml` 中配置 ResourceManager 的 Web UI 端口： ```xml <configuration> <property> <name>yarn.resourcemanager.webapp.address</name> <value>localhost:8088</value> </property> </configuration> ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值