Hadoop知识点总结!!!

这篇博客深入探讨了Hadoop2.x的四大核心模块,包括HDFS、MapReduce、YARN和Common,并详细列举了各组件的端口设置。此外,还详细介绍了Hadoop2.x的分布式环境搭建步骤,从Linux配置到Hadoop服务的启动。同时,讲解了HDFS与YARN的主要进程及其功能,以及MapReduce任务在YARN上的执行流程和五大过程,特别是shuffle阶段的细节。最后,讨论了自定义数据类型在MapReduce中的实现以及元数据的管理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

没什么好解释的,纯粹的干货分享。。。

Hadoop:
    1.Hadoop的四大模块:
        1.common:基础模块,用于支撑其他模块
        2.mapruedce:分布式计算框架
        3.YARN:分布式资源调度框架
        4.HDFS:分布式文件系统
        
    2.端口:
        1.HDFS:8082 webUI端口:8088
        2.YARN:8032 webUI端口:50070
        3.zookeeper:2181
        4.JobHistoryServer:19888
        
    3.Hadoop2.x分布式搭建的详细过程:
        一:linux相关:
            1.ip,网关,DNS
            2.hostname,本地域名解析映射(hosts)
            3.关闭防火墙,selinux
            4.ssh免密钥登陆
            5.ntp时间同步
            6.jdk配置
        二:Hadoop相关:
            1.上传,解压
            2.修改配置
      

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值