大数据端口整理(持续更新)

最新推荐文章于 2024-12-15 15:37:30 发布
原创 最新推荐文章于 2024-12-15 15:37:30 发布 · 536 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #端口

本文详细列举了大数据生态系统中关键组件如Hadoop、Zookeeper、Hive、Kafka及Hbase的常用端口号，包括但不限于HDFS的namenode、datanode，Yarn的resourcemanager，Zookeeper的客户端连接，Hive的JDBC，Kafka的通信端口，以及Hbase的master通信等，为大数据集群部署和运维提供实用参考。

大数据常用端口

Hadoop

  1. 50070 : HDFS namenode 端口
  2. 50090 : HDFS SecondaryNameNode 端口
  3. 50010 : HDFS datanode 端口
  4. 8088 : Yarn resourcemanager 端口
  5. 8020 或 9000 : HDFS RPC 端口
  6. 19888 : jobhistory的web 端口
  7. 10020 : 查看history 端口
  8. 8032 : resourcemanager服务 端口

Zookeeper

  1. 2181 : zookeeper客户端连接 端口
  2. 2888 : 和Leader服务器交换信息 端口
  3. 3888 : 选举Leader 端口

Hive

  1. 10000 : JDBC 端口
  2. 9083 : metastore 端口
  3. 3306 : 开放mysql 端口

Kafka

  1. 9092 : kafka之间通信 端口
  2. 8048 : web 端口

Hbase

  1. 16000 : Hbase的master 通信端口
  2. 16010 : Hbase的web 访问端口
大数据面试题整理——Hive
qq_68076599的博客
10-28 1893
Hive是一个构建在Hadoop上的数据仓库软件，它提供了类似SQL的查询语言，使得用户可以用SQL来查询存放在Hadoop上的数据。Hive是一种结构化数据的存储和查询机制，它可以将SQL语句转换为MapReduce任务在Hadoop上执行。Hive可以自定义单行函数、聚合函数、炸裂函数。定义单行函数，通过继承UDF，重写evaluate方法。例如，创建一个自定义的字符串拼接函数：定义炸裂函数，继承，重写process方法。
ElasticSearch从入门到精通，史上最全（持续更新，未完待续，每天一点点）
热门推荐
Null的博客
07-30 14万+
目录 1.ElasticSearch的简介 2.用数据库实现搜素的功能 3.ES的核心概念 3.1 NRT(Near Realtime)近实时 3.2 cluster集群，ES是一个分布式的系统 3.3 Node节点，就是集群中的一台服务器 3.4 index 索引（索引库） 3.5 type类型 3.6 document：文档 3.7 Field 字段 3.8 sha...
大数据应用各组件涉及端口
GuaKin_Huang的博客
12-18 780
Hadoop： ​ 50070：HDFS WEB UI端口 ​ 8020 ： 高可用的HDFS RPC端口 ​ 9000 ： 非高可用的HDFS RPC端口 ​ 8088 ： Yarn 的WEB UI 接口 ​ 8485 ： JournalNode 的RPC端口 ​ 8019 ： ZKFC端口 19888：jobhistory WEB UI端口 Zookeepe...
大数据平台端口号列表
01-19
文章中列出了大数据生态系统中hadoop hive hbase spark等组件的端口列表，用于声场环境的防火墙配置
端口号及作用
卡卡的博客
12-14 3972
7180，9870，8020、8088、8032、19888、2181、4040和18080等端口的作用
大数据Hadoop生态常用端口号
小蚯蚓的博客
10-23 2442
1.HDFS 50070：HDFS WEB UI端口 8020 ： HDFS 内部端口 8088 ： Yarn 的WEB UI 接口 8032 ： ResourceManager的applications manager(ASM)端口 2.Hive 9083  :  metastore服务默认监听端口 3.Hbase     60010：master的WEB UI端口   ...
Hadoop各个组件与端口
weixin_30797027的博客
12-27 558
组件 Daemon 端口 配置 说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS DataNode 50475 dfs.da...
大数据开发中的Sqoop学习笔记(自己整理版).pdf
07-05
对于需要持续更新的数据， Sqoop 提供了两种增量导入方案：基于时间戳和基于序列号。全量导入后，可以跟踪最后一次导入的时间戳或序列号，只导入自上次导入以来更改或新增的数据。 1. 时间戳增量导入： ```bash ...
flink入门基础知识整理（持续更新）
weixin_42396063的博客
11-17 3743
本文为FLink入门基础知识整理，包括概念、APi、核心抽象等
大数据课程复习资料整理
weixin_43334251的博客
06-23 834
以下所有内容只是自己课程考试资料的复习整理 所有图片均出自课程PPT和张伟洋所著的《Hadoop大数据技术开发实践》，不是自己画的！！！ Hadoop Hadoop整体架构对比 1.x Hadoop以HDFS和MapReduce为核心。1.x的MapReduce除了负责数据的计算以外，还负责集群作业的调度和资源管理，HDFS负责数据存储 2.x Hadoop以HDFS和YARN为核心。HDFS负责数据存储，YARN负责集群资源管理和统一调度。MapReduce只负责进行数据计算。YARN具有通用性，可.
Hadoop--YARN总结
qq_46893497的博客
12-06 837
YARN是什么? YARN：分布式资源管理和任务调度框架 负责将分布式程序提供分布式的资源来运行 理解： 程序运行的环境，提供了分布式的资源 帮你实现运行 功能：分布式资源管理和任务调度 资源管理：将多台机器的资源构成一个统一的集群【资源容器】 任务调度：负责实现程序的运行和调度 本质：提供了一个程序的运行环境，负责程序的运行、监控、调度 YARN的由来 以前的Hadoop1是没有YARN，只有HDFS和MapReduce Hadoop1：分布式计算 与Hadoop2的主要区别 Hado
请求hive是 连接8032端口
weixin_40495803的博客
08-26 175
我整理的一些关于【Java】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/bLN8S1如何请求 Hive 连接 8032 端口 在大数据领域，Hive 是一个常用的工具，允许我们通过 SQL 查询的方式来操作存储在 Hadoop 中的数据。而连接到 Hive 通常需要指定特...
二刷大数据（一）- Hadoop
qq_58551342的博客
04-12 1257
大数据的4V特征是描述大数据特性的四个关键维度，这四个特征分别为：Volume（大量性）：Velocity（高速性）：Variety（多样性）：Value（价值性）：优势：Hadoop分布式文件系统（HDFS）是一种专为大型分布式计算和海量数据存储而设计的文件系统，它采用主/从（Master/Slave）架构来管理和存储数据。下面是HDFS工作原理的简单描述：NameNode（主节点）：DataNode（从节点）：数据存储与冗余：数据读取：心跳检测与块报告：故障检测与恢复：综上所述，HDFS通过集中式的元数
Hadoop运行Mapreduce问题集锦——Ubuntu虚拟机配置
最新发布
weixin_73074505的博客
12-15 1149
运行任务前一直重连。具体来说，错误发生在尝试从的127.0.1.1地址连接到同一台机器的8032端口时，连接被拒绝。
Spark 笔记
Yuexp0825的博客
04-13 871
Spark概述: Spark在2013年6月发行,早于Yarn的发行,所以内置一套资源调度框架。 Spark基于内存进行数据的分析计算,中间过程只要不涉及Shuffle就不会落盘,减少了磁盘IO,所以性能更高。 Spark 内置模块: Spark Core: 封装了RDD的API,实现Spark基本不功能,即任务调度、内存管理、错误恢复、与存储系统交互。 Spark SQL :是Spark用来操作结构化数据的程序包。 Spark Streaming:用于实时数据的流式计算,提供了操作数据...
Hadoop中的各个端口
super-yong的博客
01-18 4031
之前已经将hadoop分布式部署完成了，但是当中配置了许多的端口： 端口号： HDFS 内部通讯端口：8020；Hadoop1.x：9000 WEB UI 端口：50070 YARN 内部通讯端口：8032 WEB UI 端口：8088 历史服务器 内部通讯端口：10020 WEB UI 端口：19888  ...
Hadoop常见端口号及配置文件
m0_70962682的博客
11-02 9248
Hadoop常用端口及配置文件
使用sqoop数据处理问题汇总
bamboo_007的博客
05-29 487
Call From node02/192.168.1.111 to node02:8032 failed on connection exception
如何解决国标GB28181视频平台EasyGBS运行中端口不够用的情况？
EasyGBS的博客
09-09 730
大家知道EasyGBS视频平台有两种视频传输模式，包括TCP、UDP，可以自由进行切换选择。EasyGBS运行过程中，选择TCP需要开 30000-40000端口，选择UDP需要开50000-60000的端口，有可能出现端口不够用的情况，导致程序报错。 如何解决这个问题？首先我们要明白EasyGBS的端口逻辑。目前端口使用的逻辑如下：摄像头注册上来，平台向摄像头发送推流请求，然后平台将接收流数据的端口返回给摄像头，让摄像头向这个端口发送数据。 所以经过分析，需要进行端口复用，也就是分配一个较小的端口
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值