hadoop的模块构造介绍（hdfs）

最新推荐文章于 2024-12-06 14:52:00 发布
最新推荐文章于 2024-12-06 14:52:00 发布
阅读量1.7k 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_33023933/article/details/80430500
版权
本文介绍了Hadoop的四大主要模块，包括Hadoop Common基础设置、Hadoop DFS分布式文件系统、Hadoop MapReduce并行计算框架及Hadoop YARN集群资源管理和任务调度。重点讲解了HDFS的设计理念与目标，如易于扩展、容错机制、大规模数据存储等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在hadoop 官网上 我们就能看到 点击打开链接  hadoop主要是有一下四个模块构成的

一 

1 hadoop Common ：为其他hadoop模块提供基础设置。

2 hadoop DFS ：一个可靠的高吞吐的分布式文件系统

3 hadoop MapReduce ：一个分布式的离线并行计算框架

4 hadoop YARN   集群资源统一管理和任务调度

其中2 3 4 是hadoop的三大核心模块。


二 hdfs（hadoop hdfs）

 Hadoop Distributed File System 

   易于扩展的 分布式文件系统

   运行在大量的廉价机器上提供容错机制

   为大量用户提供不错的文件存取


  hdfs的主要目标

  存储量大

  自动检测应对硬件的错误

  流失访问数据

  移动计算比移动数据本身更划算

  简单一致性模型

 异构平台可移植


官网学习地址点击打开链接

hadoop的工作原理？hadoop是什么？hadoop的内部三大模块是怎么运行的？
Sunshine_2211468152的博客
03-25 1700
hadoop是什么？ hadoop是一个开源框架，主要包括三大块内容：hdfs(分布式文件存储系统)，yarn（资源管理和任务调度系统），mapreduce(分布式计算框架)； hadoop的工作原理是什么？或者说hadoop的内部工作机制是什么？ 想要知道上边问题的答案，就首先需要了解hadoop这三大块的架构，接下来就先一一介绍这三大块分别是什么？这三大块内部都是怎么运行的？ hdfs...
大数据--hadoop生态--hdfs最全总结
数据挖掘+大数据研发+算法学习
10-13 574
目录 第二章：HDFS 2.1 hdfs主要组件及其功能 2.1.1 Hdfs的组成 2.1.2 SecondaryNameNode 2.2 hdfs数据存储原理 2.2.1 冗余数据保存 2.2.2 数据存取策略 2.2.3 HDFS块的大小 2.2.4 数据错误与恢复 2.3 hdfs读写数据过程 2.3.1 读数据过程 2.3.2 写数据过程 2.4 DataNode工作机制 2.5 hdfs高可用原理 2.6 hdfs常用命令 命令会导出到当前目录下面) 第二章：H
Hadoop的构造模块
喜哥的专栏
08-08 890
Hadoop集群中运行的守护进程共有5类： NameNodeDataNodeSecondary NameNodeJobTrackerTaskTracker Hadoop集群中的机器(节点)分为2类：主节点和从节点，NameNode、JobTracker所在节点为主节点(负责管理)，DataNode和TaskTracker所在节点为从节点(负责干活儿)。 NameNode NameNod
Hadoop学习笔记之——Hadoop构造模块
ALsoAm
03-24 615
Hadoop构造模块
Hadoop2源码分析－HDFS核心模块分析
weixin_34107955的博客
06-04 164
1.概述 　　这篇博客接着《Hadoop2源码分析－RPC机制初识》来讲述，前面我们对MapReduce、序列化、RPC进行了分析和探索，对Hadoop V2的这些模块都有了大致的了解，通过对这些模块的研究，我们明白了MapReduce的运行流程以及内部的实现机制，Hadoop的序列化以及它的通信机制（RPC）。今天我们来研究另一个核心的模块，那就是Hadoop的分布式文件存储系统——HDFS，...
Hadoop组件概览
Heaven Wang 的专栏
07-18 4434
一、Hadoop构造模块      运行Hadoop的意思其实就是运行一组守护进程（daemons），每个进程都有各自的角色，有的仅运行在单个服务器上，有的则运行在集群多个服务器上，它们包括： NameNodeSecondary NameNodeDataNodeJobTrackerTaskTracker      Hadoop是一个分布式存储与计算系统，分布式存储部分是HDFS，分布
Hadoop期末总复习
花开蝶自来
05-20 1507
Hadoop期末复习
hadoop3.X版本特性：路由器联邦
nothair的博客
11-30 2365
2020/11/15 shq000912@163.com 文章目录一、路由器联邦（Router-based Federation/RBF）1.1背景1.2代理服务-Router层次设计1.3可用性和容错能力1.4接口1.5配额管理1.6 客户端-路由器配置(详见官网文档) 一、路由器联邦（Router-based Federation/RBF） 1.1背景 在 HDFS 单集群的架构中，随着集群规模的扩大，Block Manager 和Namespace 会消耗掉 NameNode 越来越多的资源，最终
Hadoop之HDFS(理论篇)
penggougoude的博客
09-03 2186
1、初识HDFS HDFS作为一个分布式文件系统，具有高容错的特点，它可以部署在廉价的通用硬件上，提供高吞吐率的数据访问，适合那些需要处理海量数据集的应用程序。HDFS没有遵循可移植操作系统接口（Portable Operation SystemInterface，POSIX）的要求，不支持“ls”或“cp”这样的标准UNIX命令，也不支持如fopen()和fread()这样的文件读写方法，而是...
【RBF SBN READ】hadoop社区基于RBF的SBN READ请求流转
最新发布
qq_41258650的博客
12-06 1170
RBF SBN READ
Hadoop入门实践之构造模块
东方吹雪的专栏
11-01 2122
上一篇文章我们使用Hadoop编写了一个单词计数程序，下面学习Hadoop的模块的构造，从Hadoop的各种
Hadoop子模块的介绍
wuscar0703的专栏
10-09 207
 Hadoop2.x成员模块介绍     Zookeeper担任三种角色，领导者，学习者，客户端，主要是一种协调hadoop的机制。     |---领导者负责投票的发起和决议，更新系统状态。     |---学习者--|--跟随者--用于接收客户端的请求并向客户端返回 结点，在选过程中负责参与投票     |--观察者--可以接受客户端的连接，将写请求转发给 领导者，但观察者不参与投票，...
hadoop的架构模块
fengge18306的博客
03-17 869
1、hadoop的架构模块介绍 HDFS模块：（主从架构）分布式文件存储系统 namenode：主节点，主要负责集群的管理以及元数据信息管理。 datanode：从节点，主要负责存储用户数据。 secondaryNameNode：辅助namenode管理元数据信息，以及元数据信息的冷备份。 Yarn模块：（主从架构）资源管理调度系统 R...
Hadoop组成简介
miketom155的专栏
10-19 714
Hadoop组成简介  浏览(1647)|评论(0)   交流分类：Java|笔记分类: hadoop  Hadoop是Apache的一个项目（它是包含了很多子项目的集合，见下图）,它是一个实现了MapReduce计算模型的可以运用于大型集群并行计算的分布式并行计算编程框架,当然分布式计算离不开分布式存储,Hadoop框架包含了分布式存储系统HDFS(Hadoop Di
Hadoop概述
nuoline的专栏
02-25 1069
注：文中图表未附，转载请注明 1．Hadoop概述 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。下面将从几个方面阐述。 2.1 Hadoop起源及简介 Hadoop起源于Google的集群系统， Google的数据中心使用廉价Linux PC机组成集群，在上面运行各种应用。即使是分布式开
Apache Hadoop三大模块和生态
Learning
08-08 1390
Apache™ Hadoop® 项目为实现可靠的、可扩展的分布式计算而开发了一系列开源软件。 Apache Hadoop软件库是一个框架，它允许使用简单的编程模型来实现跨计算机集群分布式处理大型数据集。 它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。库不是依靠硬件来提供高可用性，而是通过自身框架来检测和处理应用层的故障，以便在计算机集群之上提供高可用性服务。 .........
HDFS组成架构以及模块简介
mischen520的博客
06-05 274
HDFS架构和组成
weixin_44361667的博客
02-24 274
HDFS架构和组成 Hdfs 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成NameNode， DataNode，client，和SencondayNameNode组成 NameNode(Master)： 管理 HDFS 的命名空间，维护元数据。 接收客户端的请求。 管理数据块（Block）映射信息. 配置副本策略 DataNode(Slave)： 存储实际的数据块 。 执行数据块的读/写操作。 向namenode上传心
Hadoop下水环境模拟集群运算模式
weixin_45585364的博客
02-19 1018
Hadoop下水环境模拟集群运算模式马金锋1,唐力2,饶凯锋1,洪纲3,马梅1,41中国科学院饮用水科学与技术重点实验室（中国科学院生态环境研究中心），北京 1000852深...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值