Hadoop学习笔记

最新推荐文章于 2022-03-25 19:20:59 发布
最新推荐文章于 2022-03-25 19:20:59 发布
阅读量322 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qianchenghaozi/article/details/79808747
本文介绍了HDFS（Highly Distributed File System）的核心架构及其工作原理。HDFS由NameNode、DataNode和SecondaryNameNode组成，其中NameNode负责管理DataNode，并记载元数据如数据信息、存储位置等；DataNode用于存储数据及处理客户端读写请求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

HDFS：Highly Distributed File System存储分布式文件系统

HDFS的三个核心元素

NameNode和DataNode还有SecondaryNameNode

NameNode:

1.管理DataNode

2.记载MetaData，比如数据的信息，存储的位置以及data block存储的位置

DataNode：

1.存储数据

2.处理client的读写请求

HDFS读写处理


Hadoop：并行与分布式处理


深入分析HDFS原理及读写流程
静待花开
03-12 8538
本文目录一、架构体系1.1、什么是HDFS？1.2、组成HDFS的各模块作用1.2.1、Client1.2.2、NameNode1.2.3、DataNode1.2.4、SecondaryNameNode二、数据读写2.1、读数据2.2、写数据三、优缺点 一、架构体系 1.1、什么是HDFS？ HDFS即Hadoop Distributed File System的简称，采用Master/Slave...
HDFS中四个核心的设计
weixin_44319333的博客
03-26 454
HDFS四个核心的设计包括：心跳机制，安全模式，副本存放策略，负载均衡。 心跳机制： Hadoop是Master/Slave结构的，Master和Slave之间就是通过心跳机制进行通信的。 具体流程：Master启动时会启动一个IPC Server等待Slave的连接。当Slave启动的时候，会自动连接IPC Server，并且以3秒（默认）为间隔向Master通讯一次。 DataNode（即Sl...
Hadoop初识：HDFS
Boogie
06-13 433
Hadoop基本组成部分： HDFS：分布式存储系统HDFS(Hadoop Distributed File System)分布式存储层 YARN：资源管理系统YARN(Yet Another Resource Negotiator)集群资源管理层 MapReduce：分布式计算框架MapReduce分布式计算层 Hadoop模式分类： 单机模式（Standalone） ...
Ambari 2.6.1 构建 Hadoop 集群 ---- CentOS 7
devalone 的专栏
06-20 3517
  1. 准备 ( Getting Ready ) Ambari 为 Hadoop 集群提供了一个端对端的管理和监控方案(end-to-end management and monitoring solution)。利用 Ambari 的 Web UI and REST APIs, 可以在一个中心点部署、操作、管理配置，以及监控集群的所有节点服务。     1.1 确定安装栈兼容性 ( Det...
Hadoop就业面试题
weixin_34055910的博客
06-16 4456
----------------------------------------------------------------------------- [申明：资料来源于互联网] 本文链接：http://blog.youkuaiyun.com/sdksdk0/article/details/51695341 编辑：朱培 ID：sdksdk0 -------...
Hadoop之HDFS面试题整理
qq_37873221的博客
04-28 1万+
1.2HDFS（☆☆☆）1.2.1 HDFS 中的 block 默认保存几份？（A）A.3 份B.2 份C.1 份D.不确定1.2.2HDFS 默认 BlockSize 是（C）A.32MBB.64MB（2.7.2版本，本地模式）C.128MB（2.7.2版本，分布式模式）1.2.3 Client 端上传文件的时候下列哪项正确？（BC）A.数据经过NameNode传递DataNodeB.Clien...
Hadoop 学习笔记.md
06-12
Hadoop 学习笔记.md
CentOS7+Ambria2.6.1.0+HDP2.6.4.0安装详细步骤
weixin_39565641的博客
12-13 2439
Ambria安装 1.环境准备 （在master，slave1，slave2，slave3） 1.1. 环境说明 master slave1 slave2 slave3 主机名 master.ambria.com slave1.ambria.com slave2.ambria.com slave3.ambria.com IP 192.168.18.140 192.168.18...
Hadoop核心--HDFS
Victor
08-05 562
什么是HDFS？   HDFS（Hadoop Distributed File System），分布式文件存储系统。源自于Google的GFS论文，是GFS的克隆版。与其他分布式文件系统相比，它具有很高的容错能力，适合部署在廉价的机器上；另外它能提供高吞吐量的数据访问，适合海量数据的存储。 HDFS特点   易于扩展   运行在普通廉价的机器上，提供容错机制   为大量用户提供高性能的海...
hadoop体系结构
weixin_33736832的博客
05-16 295
Hadoop是一个能够对大量数据进行分布式处理的软件框架，以一种可靠、高效、可伸缩的方式进行数据处理，其有许多元素构成，以下是其组成元素：1. Hadoop Common ：Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。2. HDFS：分布式文件系统，提供高吞吐量的应用程序数据访问，对外部客户机而言，HDFS 就像一个传统的分...
HDFS的两大核心
Master chy
12-17 1650
HDFS的两大核心包括写数据和读数据，这是HDFS的一个重点，下面笔者就讲解一下两大核心的过程。同时，笔者也会讲解一下元数据的合并过程。 写数据 1.客户端向NameNode发送文件上传请求； 2.NameNode进行一系列的检查：权限、文件的父目录是否已经存在。检查通过之后，允许上传； 3.允许客户端上传； 4.客户端发送真正的文件上传请求，请求包含一个重要的信息：文件的长度、大小； 5.Nam...
Hadoop原理——HDFS原理
liangsw
10-25 575
Hadoop核心组件： 分布式文件系统（HDFS）：以流式数据访问模式来存储超大文件，运行于商用硬件集群，是管理网络中跨多台计算机存储的文件系统 分布式运算框架（MapReduce）； 分布式调度引擎（YARN）； HDFS的设计特点： 概括：分（分块）、余（冗余）、展（动态扩展）的大硬盘！ 分块：HDFS的存储文件被划分为块，作为独立的存储单元，称为数据块，默认大小是：Hadoop1....
解决Hadoop集群hdfs无法启动DataNode的问题
brokyz
03-25 5043
问题描述： 在hadoop启动hdfs的之后，使用jps命令查看运行情况时发现hdfs的DataNode并没有打开。 笔者出现此情况前曾使用hdfs namenode -format格式化了hdfs 如有三个hadoop集群，分别为hadoop102，hadoop103，hadoop104 其问题情况如下 可见三个机器均没有将DataNode启动。 问题分析： 进入hadoop根目录的logs中查看DataNode的日志文件 可以看见报错信息 java.io.IOException: Incompa
hadoop（四）HDFS的核心设计
weixin_30349597的博客
04-07 136
一、hadoop心跳机制（heartbeat） 1、 Hadoop 是 Master/Slave 结构， Master 中有 NameNode 和 ResourceManager， Slave 中有Datanode 和 NodeManager 2、 Master 启动的时候会启动一个 IPC（ Inter-Process Comunication，进程间通信） server ...
hadoop的三大核心组件之HDFS和YARN
微电子学与固体电子学-俞驰
04-27 3055
Hadoop的三大核心组件之HDFS和YARN Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 （1）HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNode/SecondaryNameNode。 （2）YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有ResourceManager...
安装hadoop出现问题及解决方法
qq_44721203的博客
09-23 1960
问题一：用java -version命令检查java版本时出现’java’ 不是内部或外部命令，也不是可运行的程序 或批处理文件。即JAVA_HOME环境变量路径错误。 问题二： Call From WIN-HVOE9V8OS5E/192.168.126.1 to 0.0.0.0:19000 failed on connec site:blog.youkuaiyun.com。即java编译环境搭建错误。 问题一、问题二都可以重新找到正确的环境变量路径来解决。 问题三：执行该命令%HADOOP_PREFIX%\sbin\
hadoop2.2.0 centos 编译安装详解
热门推荐
╱/.进oоΟ的专栏
11-26 2万+
废话不讲，直切正题。 搭建环境:Centos x 6.4 64bit 1、安装JDK 我这里用的是64位机，要下载对应的64位的JDK,下载地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html，选择对应的JDK版本，解压JDK，然后配置环境变量, vi /e
hadoop常见错误及解决办法！
沉底的石头
05-30 1万+
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out  Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。        /etc/security/limits.
hadoop学习笔记
最新发布
01-02
### 关于Hadoop的学习教程和笔记 #### Hadoop简介及其作用 Hadoop是一个用于处理大规模数据集的分布式计算框架，能够有效地解决海量数据存储和分析计算的问题[^1]。该平台设计之初旨在支持超大型的数据集，在多个廉价计算机组成的集群上运行应用程序。 #### 发展历程概述 自2006年发布以来，Hadoop经历了快速的发展阶段，并逐渐成为大数据领域不可或缺的技术之一。它不仅限于最初的MapReduce模型，还扩展到了更多组件和服务，形成了丰富的生态系统[^4]。 #### 推荐学习资源链接 对于希望深入了解并掌握这项技术的人来说，可以参考以下在线课程材料： - **尚硅谷Hadoop3.x系列教程**：提供全面系统的理论讲解和技术实践指导，适合初学者逐步建立扎实的知识体系。 - **黑马程序员B站官方频道发布的免费视频合辑**：涵盖了从基础概念到高级应用各个层面的内容，配合实际操作演示帮助学员更好地理解知识点[^2]。 #### 实际命令示例 当涉及到具体的文件系统管理时，比如查看目录大小，可以通过如下Shell指令实现： ```bash [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -du -s -h /path/to/directory ``` 这条命令会返回指定路径下所有文件夹占用的空间总量，并以人类可读的方式展示出来[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值