关于HDFS的总结

最新推荐文章于 2024-11-29 10:28:30 发布
最新推荐文章于 2024-11-29 10:28:30 发布
阅读量348 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop生态圈（待续）
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_31089125/article/details/94404704

1、导包，将从官网中下载的在这里插入图片描述解压，提取里面的jar导入eclipse，并Add to bulid path。
2、api文档在这里插入图片描述
3、如图代码

在这里插入图片描述
结果
在这里插入图片描述
4、在客户端设定的参数只对客户端的传递起作用
5、启动一台linux时，无任何进程，向指定集群传数据时，可修改core.xml文件
6、从Hdfs下载数据到本地，需要配置hadoop环境变量且需要其他操作
在这里插入图片描述

Hdfs总结
沧海一粟的博客
03-14 408
Hdfs总结 1.读写流程 读出数据 跟namenode通信查询元数据，找到文件块所在的datanode服务器 挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流 datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验） 客户端以packet为单位接收，先在本地缓存，然后写入目标文件 写入数据 2.hdfs的工作机制 HDFS集群分为...
关于HDFS的一些总结
nyyjs的专栏
07-20 475
一，FsImage 和 FsEdit的意义及它们的运行机制FsImage。存储的是元数据镜像文件，具体讲是存储某一时段NameNode内存元数据信息。 FsEdit。操作日志文件。比如说，上传一个文件或删除一个文件，这些操作。从而引申出以下几个问题： 1)，什么是元数据？ 简单来讲，就是HDFS文件的属性信息（文件名、目录名等等属性信息）、文件内容信息（文件块情况、副本数等等内容信息）、dat
关于HDFS一些总结
weixin_44319151的博客
11-05 326
今天说的是关于1.HDFS的特性 2.HDFS的缺点 3.HDFS的高级命令 4.HDFS安全模式 5.HDFS的配置选项　６.secondartnameNode的工作原理（意义） 步入正题： 1.HDFS的特性 1.存储海量数据：HDFS可横向扩展，其储存的文件可以支持PB级数据 2.高容错性：数据保存多个副本，副本丢失后自动恢复。可构建廉价（与小型机大型机对比）的机器上，实现线性扩展。（...
HDFS
cuiche2072的博客
10-15 166
HDFS架构 hdfs执行流程 1)读流程 描述：1.client通过分布式FileSystem.open(path)方法，去与NN进行RPC通信，N...
HDFS学习总结
小冷在努力~
04-15 837
这里主要介绍HDFS的shell操作指令，关于HDFS理论知识，请参看hadoop基础理论知识章节 HDFS的shell操作指令 HDFS对文件操作些许JAVA  API 1.读取HDFS系统下的文件内容 2.从linux上传文件到HDFS 3.从HDFS下载文件到linux 4.删除HDFS文件 5.浏览HDFS文件夹 6.创建HDFS文件夹
HDFS总结的脑图
10-14
hdfs基本涉及到的内容，采用XMind 8,需要此软件才能查看
HDFS知识总结
Flychuer的专栏
11-29 955
随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。1、首先先来了解几个概念寻址时间：HDFS中找到目标文件block块所花费的时间。原理：文件块越大，寻址时间越短，但磁盘传输时间越长；文件块越小，寻址时间越长，但磁盘传输时间越短。2、为什么block不能设置过大，也不能设置过小。
HDFS总结.xmind
07-29
HDFS知识点总结（思维导图）XMIND文件
HDFS总结
zccaogong的专栏
08-25 791
本文以如下两个方面展开：HDFS的组成，HDFS的各组成的工作方式也就是HDFS的功能是怎样实现的   一、HDFS是什么 HDFS(Hadoop Distributed File System)，是Apache基金会下的项目Hadoop的一个主要组成部分。Hadoop的另一个主要组成部分是MapReduce，作者受到谷歌的论文GFS的启发而设计出的一个分布式文件存储系统。它和M
Hadoop系列之HDFS
ab31ab的博客
08-03 196
目录 HDFS 优缺点 HDFS 组成架构 HDFS 文件块大小 HDFS 写数据流程 HDFS 读数据流程 NameNode 和 SecondaryNameNode NN 和 2NN 工作机制 Fsimage 和 Edits 解析 DataNode 工作机制 数据完整性 掉线时限参数设置 HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目 录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功...
hdfs知识点总结
最新发布
05-21
### HDFS 知识点总结 #### 1. **HDFS 的基本概念** Hadoop分布式文件系统 (HDFS) 是一种专为通用硬件设计的分布式文件系统，具有高容错性和可扩展性特点[^1]。它的主要目标是通过廉价硬件提供可靠的数据存储服务。 #### 2. **HDFS 的核心组件** - **NameNode**: 负责管理文件系统的命名空间和元数据。它将文件系统的元数据存储在内存中，并响应客户端的读写请求[^2]。 - **DataNode**: 实际存储数据块的节点，负责执行数据的实际读写操作并定期向 NameNode 报告其状态。 #### 3. **HDFS 数据存储机制** HDFS 将大文件分割成固定大小的小块（Block），默认情况下，在 Hadoop 1.x 中 block 大小为 64MB，而在 Hadoop 2.x 中则增加到 128MB[^4]。这些 blocks 可以分布在集群的不同 DataNodes 上，从而实现负载均衡和冗余备份。 #### 4. **HDFS 容错能力** 为了提高可靠性,HDFS 对每一个文件都会创建多个副本，默认复制因子为三份[^1]。这意味着即使某些物理设备发生故障,只要还有其他地方存在该文件的有效拷贝就可以恢复丢失的信息。 #### 5. **HDFS 性能优化策略** - 放宽 POSIX 标准限制以便于更高效的批量处理任务需求[^1]. - 提供高吞吐量的数据访问路径特别适用于大规模数据分析场景. #### 6. **HDFS 元数据管理** HDFS 使用 FSImage 和 EditLog 来持久化保存整个文件系统的状态信息以及每次修改记录。FSImage 表示当前时刻完整的文件系统镜像;EditLogs 则记录自上次检查点以来发生的变更日志条目集合[^4]. #### 7. **HDFS 文件写入流程概述** 当客户端上传新文件至 HDFS 时: 1. 首先联系 Namenode 获取分配的目标 Datanodes 地址; 2. 接下来按照预定义好的 Block Size 进行分片传输给指定的一系列 Datanodes ; 3. 最终确认所有 Blocks 已经安全落地之后才会结束此次事务提交过程.[^5] --- ### 示例代码展示如何设置 HDFS 块大小 如果需要调整 HDFS 默认块大小可以在 `hdfs-site.xml` 配置如下参数: ```xml <configuration> <!-- 设置 HDFS 块大小 --> <property> <name>dfs.blocksize</name> <value>134217728</value> <!-- 单位字节(这里表示128M)--> </property> </configuration> ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值