Hadoop知识点总结！！！

Hadoop2.x详解：四大模块、端口配置与分布式搭建
最新推荐文章于 2024-04-27 19:57:45 发布
原创 最新推荐文章于 2024-04-27 19:57:45 发布 · 1.3k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

这篇博客深入探讨了Hadoop2.x的四大核心模块，包括HDFS、MapReduce、YARN和Common，并详细列举了各组件的端口设置。此外，还详细介绍了Hadoop2.x的分布式环境搭建步骤，从Linux配置到Hadoop服务的启动。同时，讲解了HDFS与YARN的主要进程及其功能，以及MapReduce任务在YARN上的执行流程和五大过程，特别是shuffle阶段的细节。最后，讨论了自定义数据类型在MapReduce中的实现以及元数据的管理。

没什么好解释的，纯粹的干货分享。。。

Hadoop：
    1.Hadoop的四大模块:
        1.common:基础模块，用于支撑其他模块
        2.mapruedce：分布式计算框架
        3.YARN：分布式资源调度框架
        4.HDFS：分布式文件系统
        
    2.端口：
        1.HDFS：8082 webUI端口：8088
        2.YARN：8032 webUI端口：50070
        3.zookeeper：2181
        4.JobHistoryServer:19888
        
    3.Hadoop2.x分布式搭建的详细过程：
        一：linux相关：
            1.ip，网关，DNS
            2.hostname，本地域名解析映射（hosts）
            3.关闭防火墙，selinux
            4.ssh免密钥登陆
            5.ntp时间同步
            6.jdk配置
        二：Hadoop相关:
            1.上传，解压
            2.修改配置
                -》修改-evn.sh
                    hadoop、yarn、mapred
                -》core-site.xml
                    hdfs入口，临时文件目录
                -》hdfs-site.xml
   &n

最低0.47元/天 解锁文章
1.hadoop知识点
qq_50166024的博客
03-10 820
day01—————— 一、Linux复习 一、Linux的概念和安装 1. Linux是什么 操作系统，开源，免费，多用户，多进程，多cpu,性能稳定... 2. linux的安装 二、Linux的命令 1. 最常用的三个： pwd： cd: ls： 2. 文件处理命令 touch mkdir mv: 移动文件或目录，有更名的效果 cp: 复制文件或目录，有更名的效果 rm: 删除文件或目录 3. 文件查看命令 cat more less h
hadoop知识点总结
热门推荐
超可爱慕之
10-14 1万+
Hadoop Hadoop框架 Hadoop是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构 主要解决，海量数据的存储和海量数据的分析计算问题 广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈 Hadoop发行版本 Apache、Cloudera、Hortonworks（需要明确自己使用的版本） Apache版本最原始（最基础）的版本，对于入门学习最好 Cloudera在大型互联网企业中用的较多 Hortonworks文档较好 Hadoop优势 高可靠
Hadoop知识点整理
wenhui12345的博客
08-21 2749
本文是根据《Hadoop权威指南》的知识点进行归纳整理，基本涵盖hadoop重要的知识点。
hadoop 知识点总结
知识的力量
06-23 846
1、支持的模式启动hadoop 集群     1）、单机模式      ----  对调试非常有帮助      2）、为分布模式     ----       3）、完全分布式模式 2、 格式化新的分布式文件系统      ./sbin/hadoop  namenode   -format    3、 启动hadoop        ./sbin/st
Hadoop知识点总结
mm_bit的博客
12-07 1987
之前自己在慕课网在线学习了关于hadoop的初步知识，在此记录一下： hadoop主要是由两部分构成：1、HDFS，负责存储，为分布式文件系统；2、MapReduce，是并行处理框架，用于实现任务的分解和调度。 hadoop的优势：1、高扩展：通过添加硬件来实现性能的提升，扩充容量。2、低成本：只需要普通PC机即可，不需高端硬件。3、成熟的生态圈：周边开源工具丰富：有Hive、HBase（其中
Hadoop知识总结
2301_81511666的博客
04-27 988
1.1什么是Hadoop：Hadoop是一个开源的、可靠的、可伸缩的、用于处理大数据的分布式计算框架。1.2常见的知识点概括：Hadoop HDFS（Hadoop Distributed File System）：Hadoop集群中的存储系统，用于大数据的分布式存储。Hadoop MapReduce：Hadoop的原始计算模型，用于并行处理大量数据。Hadoop YARN（Yet Another Resource Negotiator）：Hadoop集群中的资源管理系统，用于管理集群中的计算资源。
Hadoop知识点大全
默主归沙的博客
03-27 3312
一、大数据的概述 1、大数据的概念和特征(重点) --1. 概念： 海量数据，数据种类多样化，增长速度块，无法使用常规分析管理工具进行管理的数据集合 --2. 特征(4V) volume: 巨大的数据量 variety: 数据种类多样化 --结构化的数据 --半结构化的数据 --非结构和的数据：网页，视频，音频等，占现在数据量的90% volecity: 增长速度块 value: 价值密度低 2、大数据的应用前景 --1.应用案例 预测犯罪，城市规划，远程医疗，预测选举...
Hadoop基础知识总结
fengyi0312的博客
09-18 2499
Hadoop概述 Hadoop这个单词本身并没有什么特殊的含义，而只是其作者Doug Cutting孩子的一个棕黄色的大象玩具的名字。 Hadoop是一个高可靠的(reliable)，规模可扩展的(scalable)，分布式(distributed computing)的开源软件框架。它使我们能用一种简单的编程模型来处理存储于集群上的大数据集。 Hadoop是Apache基金会的一个开源项目，是一个提供了分布式存储和分布式计算功能的基础架构平台。可以应用于企业中的数据存储，日志分析，商业智能，数据挖掘
Hadoop常见知识点总结
启迪思维，精进技术
01-04 564
Hadoop常见知识点总结 前言 Hadoop早期衍生自Nutch（Java开源的搜索引擎），早期Nutch构建开源的搜索引擎，同样在少数的机器上同时运行计算任务面临着问题，在这个时候Google发布了GFS和Map Reduce论文。人们参考着这两篇论文中所阐述的思想开始重建Nutch的存储和计算模型。一开始尝试在20台机器的计算和存储，不久人们发现为了满足web服务高扩展性，需要将集群规模扩展...
Hadoop相关知识点
weixin_70137450的博客
11-05 612
大数据Hadoop
hadoop知识点整理
p_x1984的专栏
07-06 288
1. Hadoop 是什么？ Hadoop 是一种使用 Java 编写的分布式计算平台。它吸收了 Google 文件系统和 MapReduce 等产品的特性。详情参见 HadoopMapReduce。 2. Hadoop 运行于什么平台？ 1. Java 1.5.x 或更高版本（推荐使用 Sun 的实现版本）；2. 支持 Linux 与 Windows 操作系统。在 BSD、Mac OS/...
Hadoop 相关知识点（一）
雪泪寒的博客
08-27 886
作业提交流程 通用的任务程序提交步骤为： 1.将程序打成jar包； 2.将jar包上传到HDFS上； 3.用命令行提交HDFS上的任务程序。 最简单的提交命令应该如： hadoop jar /home/hadoop/hadoop-2.2.0/hadoop-examples.jar wordcount inputPath outputPath 主意的是：其中/home/hadoop/h...
hadoop知识点
最新发布
04-01
### Hadoop核心技术概念与知识点总结 #### 1. Hadoop版本及其核心组件 Hadoop分为多个版本，其中Hadoop 1.x 和 Hadoop 2.x 是两个重要的阶段。 - **Hadoop 1.x 组成**: 主要由HDFS (分布式文件系统) 和 MapReduce (离线并行计算框架) 构成[^1]。 - **Hadoop 2.x 组成**: 在原有基础上增加了YARN (Yet Another Resource Negotiator)，负责作业调度与集群资源管理。 #### 2. 各核心组件的功能描述 - **HDFS (Highly Distributed File System)**: 提供高可靠性、高吞吐量的分布式文件存储能力。其架构为主从模式，主节点为NameNode，从节点为DataNode[^2]。 - NameNode 负责管理元数据以及维护整个文件系统的命名空间。 - DataNode 则负责实际的数据块存储和读取操作。 - **MapReduce**: 这是一个编程模型，用于大规模数据集的并行处理。它通过Map(映射)和Reduce(规约)两个阶段完成复杂的计算任务。 - **YARN**: 它引入了全局资源管理和调度机制，使得同一个集群上能够运行多种不同类型的应用程序而无需担心资源争抢问题。 - **Common**: 此模块包含了支持上述三个主要子项目所需的通用库和其他实用工具函数集合。 #### 3. 集群初始化过程中的重要变化 首次启动Hadoop集群时会发生如下几个显著的变化： - Datanodes会在指定路径`${hadoop.tmp.dir}/dfs/data`下创建用于存放数据块的实际物理位置； - Namenode将在`${hadoop.tmp.dir}/dfs/name`目录新增一个名为edits的日志文件用来记录所有的修改动作； - 整个环境中还会自动生成logs文件夹来追踪各个守护进程的状态信息以便后续排查可能存在的异常情况[^3]。 #### 4. 文件读写的内部工作流程 对于客户端(Client)而言，在HDFS之上执行任何关于数据的操作都遵循特定的原则——要么是从远程获取已存在资料副本(read), 要么就是向目标地址上传新素材(write)[^4]: - 当进行写入(write)活动期间,HDFS会先将待传输的大规模文档分割成为若干个小片段(blocks); 接着这些碎片会被复制多份分散存放到不同机器上面以增强容错性和可用度. - 对于检索行为来说，则是依据预设好的寻址策略定位到具体哪个Datanode持有请求的目标区块(Block)，之后再逐步拉回所需部分直至全部下载完毕为止. #### 5. 名称节点(NameNode)的关键职责 Namenode承担起协调整个体系运转的核心角色之一，主要包括但不限于以下几个方面的工作内容: - 维护文件同它们所对应的磁盘分区列表之间的关联性(file-block mapping); - 记录哪些具体的服务器实例正保管着每一个独立单元(block instance)(data-node block mapping). 上述两项联系分别被持久化至fsimage静态镜像快照以及动态更新增量日志edit logs之中; 只有当服务重启之时才会重新加载进内存环境里去.[^5] ```python # 示例代码展示如何连接HDFS并列出根目录下的所有文件 from hdfs import InsecureClient client = InsecureClient('http://localhost:9870', user='hadoop') files = client.list('/') print(files) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值