本文介绍了Hadoop生态系统的各种组件如HDFS、Yarn、Zookeeper、Hbase、Hive、Spark等的常用端口，以及Hive的高级用法，包括HiveServer2与Beeline配合、Java API操作、复杂数据类型处理和SQL执行计划分析。此外，还提到了数据压缩在大数据处理中的作用和压缩技术的应用场景。
常见端口汇总：
Hadoop：
50070：HDFS WEB UI端口
8020 ： 高可用的HDFS RPC端口
9000 ： 非高可用的HDFS RPC端口
8088 ： Yarn 的WEB UI 接口
8485 ： JournalNode 的RPC端口
8019 ： ZKFC端口
19888：jobhistory WEB UI端口
Zookeeper:
2181 ： 客户端连接zookeeper的端口
2888 ： zookeeper集群内通讯使用，Leader监听此端口
3888 ： zookeeper端口 用于选举leader
Hbase:
60010：Hbase的master的WEB UI端口 （旧的） 新的是16010
60030：Hbase的regionServer的WEB UI 管理端口
Hive:
9083 : metastore服务默认监听端口
10000：Hive 的JDBC端口
Spark：
7077 ： spark 的master与worker进行通讯的端口 standalone集群提交Application的端口
8080 ： master的WEB UI端口 资源调度
最低0.47元/天 解锁文章
扫一扫
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
