hdfs知识点
AHincsdn
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop端口详解
Hadoop 常用端口Hadoop默认访问端口号50070namenode节点active状态下的端口8020高可用的HDFS RPC端口8020SecondaryNameNode辅助名称节点端口号50090fileSystem默认的端口号9000yarn.resourcemanager.webapp.address(yarn的webui接口)8088历史服务器端口(historyserver)19888Zoo keeper 端口218原创 2021-08-09 09:58:35 · 2777 阅读 · 0 评论 -
Hdfs---Shuffle 执行过程
shuffle执行过程分为两个核心环节mapShufflereduceShufflejob提交数据任务,根据客户提交的切片决定maptask的次数,map读取job提交的数据,输出格式为key/value的形式,对键值对进行一个默认的分区,每一个map任务分配一个缓存,缓存默认大小是100m当缓存到达80%时会启动溢写操作,在写入我文件之前对键值对进行分区排序合并,,默认分区是hash函数对key进行哈希在对reduce的数量取模,也可以按照需求自定义分区,默认会对key的一个字典排序,排序结束原创 2021-08-09 09:49:26 · 1964 阅读 · 0 评论
分享