hadoop常用端口说明

本文总结了Hadoop生态系统中的HDFS、YARN、HBase等组件的服务端口配置,包括DataNode、NameNode、ResourceManager、NodeManager及HBase的Master和RegionServer等关键服务的端口设置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

HDFS


    DataNode


        50010   dfs.datanode.address    datanode服务端口,用于数据传输
        50075   dfs.datanode.http.address   http服务的端口
        50475   dfs.datanode.https.address  https服务的端口
        50020   dfs.datanode.ipc.address    ipc服务的端口


    NameNode


        50070   dfs.namenode.http-address   http服务的端口
        50470   dfs.namenode.https-address  https服务的端口
        8020    fs.defaultFS    接收Client连接的RPC端口,用于获取文件系统metadata信息。


    journalnode


        8485    dfs.journalnode.rpc-address     RPC服务
        8480    dfs.journalnode.http-address    HTTP服务


    ZKFC


        8019    dfs.ha.zkfc.port    ZooKeeper FailoverController,用于NN HA


   YARN


    ResourceManager


        8032  yarn.resourcemanager.address    RM的applications manager(ASM)端口
        8030  yarn.resourcemanager.scheduler.address  scheduler组件的IPC端口
        8031  yarn.resourcemanager.resource-tracker.address   IPC
        8033  yarn.resourcemanager.admin.address  IPC
        8088  yarn.resourcemanager.webapp.address     http服务端口


    NodeManager


        8040  yarn.nodemanager.localizer.address  localizer IPC
        8042  yarn.nodemanager.webapp.address     http服务端口
        8041  yarn.nodemanager.address    NM中container manager的端口


    JobHistory Server


        10020     mapreduce.jobhistory.address    IPC
        19888     mapreduce.jobhistory.webapp.address     http服务端口


HBase


    Master
        60000     hbase.master.port   IPC
        60010     hbase.master.info.port  http服务端口
    RegionServer
        60020     hbase.regionserver.port     IPC
        60030     hbase.regionserver.info.port    http服务端口
    HQuorumPeer
        2181  hbase.zookeeper.property.clientPort     HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
        2888  hbase.zookeeper.peerport    HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
        3888  hbase.zookeeper.leaderport  HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。


Hive


    Metastore
        9083  /etc/default/hive-metastore中export PORT=<port>来更新默认端口    
    HiveServer
        10000     /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口     


ZooKeeper


    Server
        2181  /etc/zookeeper/conf/zoo.cfg中clientPort=<port>   对客户端提供服务的端口
        2888  /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分  follower用来连接到leader,只在leader上监听该端口。
        3888  /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分  用于leader选举的。只在electionAlg是1,2或3(默认)时需要。

<think>好的,我现在需要处理用户关于常用Linux操作和Hadoop操作的实验报告或学习资料的请求。首先,我要回顾用户之前的引用内容,确保回答符合他们的需求。用户提到了引用[1]和[2],其中包含Hadoop目录创建和find、tar命令的使用。用户现在明确需要实验报告或学习资料,所以我的回答应该结构清晰,分步骤讲解,并附上相关示例。 首先,我应该整理常用的Linux命令,分为文件操作、权限管理、进程管理和网络工具。每个部分需要列出常用命令及其示例,比如ls、cd、grep等,结合用户提到的find和tar命令,确保覆盖用户提到的内容。 接下来是Hadoop操作部分,需要包括HDFS基本命令,如hadoop fs -mkdir、-put、-ls等,以及启动Hadoop集群的步骤。用户之前提到创建用户目录,这部分需要详细说明,比如使用hadoop用户登录并创建目录。此外,MapReduce示例可以帮助用户理解实际操作,需要提供一个简单的wordcount例子。 实验报告结构部分,我应该建议用户如何组织实验报告,包括实验目的、环境、步骤、结果分析等,这样他们可以参考这个结构来撰写自己的报告。同时,学习资料推荐需要权威且免费,比如官方文档、在线教程和书籍,确保用户能进一步学习。 最后,生成相关问题时要围绕用户的需求,可能涉及Linux与Hadoop的关系、HDFS命令、性能优化等。需要确保问题有针对性,帮助用户深入理解。 在回答过程中,要注意使用正确的LaTeX格式,所有行内数学表达式用$...$,独立公式用$$...$$,但当前内容可能较少涉及数学公式,所以主要关注代码块和引用标识。同时,引用用户提供的引用[^1]和[^2],比如在创建Hadoop用户目录和tar命令时添加注释。 需要检查是否有遗漏的常用命令或Hadoop操作,确保覆盖用户的需求。此外,语言要口语化,避免使用专业术语过多,保持自然流畅。最后,确保所有代码示例正确,比如Hadoop命令和Shell脚本,避免语法错误。</think>### 常用 Linux 操作与 Hadoop 操作实验报告框架 #### 一、实验目标 1. 掌握 Linux 基础命令(文件管理、权限设置、进程监控等) 2. 熟悉 Hadoop 集群的启动与 HDFS 基本操作 3. 完成简单大数据处理任务验证环境配置 --- #### 二、Linux 常用操作(含示例) **1. 文件操作** ```bash # 查找配置文件(引用用户提供的示例) find ~ -name .bashrc # 在用户目录查找.bashrc文件[^2] # 压缩/解压目录(引用示例扩展) mkdir test && tar -zcvf test.tar.gz test # 创建并压缩 tar -zxvf test.tar.gz -C /tmp # 解压到指定目录[^2] ``` **2. 权限管理** ```bash chmod 755 script.sh # 设置可执行权限 sudo useradd hadoop # 创建Hadoop专用用户[^1] ``` **3. 进程监控** ```bash top -u hadoop # 查看用户进程 ps -ef | grep java # 筛选Java进程 ``` --- #### 三、Hadoop 基础操作 **1. 环境启动(引用用户提供的路径)** ```bash # 切换Hadoop用户后执行 /usr/local/hadoop/sbin/start-dfs.sh # 启动HDFS[^1] hadoop fs -mkdir /user/hadoop # 创建用户目录[^1] ``` **2. HDFS 文件操作** ```bash hadoop fs -put localfile.txt /user/hadoop # 上传文件 hadoop fs -cat /user/hadoop/result.txt # 查看文件内容 ``` **3. MapReduce 示例** ```python # WordCount示例代码(Python版) from hadoop.mapreduce import Mapper, Reducer class WordMapper(Mapper): def map(self, key, value): for word in value.split(): yield (word, 1) class SumReducer(Reducer): def reduce(self, key, values): yield (key, sum(values)) ``` --- #### 四、实验报告核心结构建议 1. **实验环境** - Linux 发行版:Ubuntu 22.04 - Hadoop 版本:3.3.4 - Java 版本:OpenJDK 11 2. **实验结果验证** ```bash hadoop jar hadoop-mapreduce-examples.jar pi 10 100 # 计算圆周率验证集群 ``` 3. **问题分析** - 权限问题:`Permission denied` 错误解决方案 - 端口冲突:50070/webUI 无法访问排查 --- #### 五、学习资料推荐 1. **权威文档** - [Hadoop 官方文档](https://hadoop.apache.org/docs/stable/) - [Linux命令速查表](https://linux.die.net/man/) 2. **实验教程** - 《Hadoop权威指南》第四章"YARN" - 实验楼《HDFS分布式文件系统实战》 3. **在线课程** - Coursera: Hadoop Platform and Application Framework - 阿里云大学: 大数据开发入门 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值