HDFS02

最新推荐文章于 2024-12-20 21:50:25 发布
最新推荐文章于 2024-12-20 21:50:25 发布
阅读量70 收藏
点赞数
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/xtdxs/p/7074018.html
本文介绍了HDFS（Hadoop分布式文件系统）的主要特点，包括其高容错性、适合批处理和大数据处理的能力，以及流式文件访问的支持。同时，文章也提到了HDFS的一些局限性，如不适用于低延迟数据访问、不适合存储小文件等。

读取流程

 写流程

============SecondaryNameNode============

Namenode的一个快照

周期性的备份namenode

记录namenode中的metadata及其它数据

可以用来恢复Namenode

============HDFS优点============

高容错性 --------->

√数据自动保存多个节点

√备份丢失后，自动恢复

适合批处理 --------->

√移动计算而非数据

√数据位置暴露给计算框架

合适大数据处理 --------->

√GB、TB、甚至PB级数据

√百万规模以上的文件数量

√ 10K+节点规模

流式文件访问 --------->

√一次性写入、多次读取

√保证数据的一致性

可构建在廉价的机器上 --------->

√通过多副本提高可靠性

√提供了容错和恢复机制

============HDFS缺点============

低延迟数据访问 --------->

√比如毫秒级

√低延迟与高吞吐率

小文件存取 --------->

√占用NameNode大量内存

√寻道时间超过读取时间

并发写入、文件随时修改 --------->

√一个文件只能有一个写者

√仅支持append

 

转载于:https://www.cnblogs.com/xtdxs/p/7074018.html

HDFS快照
zzaliubi的博客
04-22 642
快照 一、简介 HDFS中可以对目录创建快照。快照是文件系统的只读副本，在整个文件系统或子目录上都可以创建快照，用来数据备份，防止用户误操作，和恢复。 快照的原理是在每个目标节点下面创建snapshot节点，后续任何子节点的变化都会同步记录到snapshot上。例如删除子节点下面的文件，并不是直接将文件的元数据信息和数据删除，而是将他们移动到snapshot下面。这样就能够恢复回来。snapshot保存的是一个完整的现场，不仅是删除的文件还能够找到，新创建的文件在恢复快照的时候，也不会看到。当新创建一个文件
【HDFS篇02】HDFS命令行操作1
08-04
在Hadoop分布式文件系统（HDFS）中，进行操作通常通过命令行界面（CLI）进行，这包括管理文件、目录以及与本地文件系统的交互。本文将详细介绍HDFS的Shell操作，主要涵盖基本语法、常用命令以及其用法。 首先，HDFS...
复习打卡大数据篇——Hadoop HDFS 02
2402_85573962的博客
12-20 920
安全模式是 HDFS 的一种特殊运行状态，其主要功能是确保系统中的数据块安全并保持数据一致性。在安全模式下，HDFS 只允许执行读取操作，而不允许进行任何修改、删除或其他变更操作。这种保护机制通常在 NameNode（主节点）启动时启用，用来检查整个文件系统的健康状况。在 NameNode 启动后，系统会等待所有 DataNode（数据节点）报告自己存储的块信息。只有当 HDFS 中的大多数数据块副本达到预设的最低安全比例（通过配置参数定义）时，系统才会退出安全模式，恢复正常运行。
HDFS02 HDFS的Shell操作
好好学习天天向上
04-14 1119
HDFS的Shell操作(开发重点) 文章目录HDFS的Shell操作(开发重点)基本语法常用命令准备工作上传-moveFromLocal 剪切-copyFromLocal 拷贝-put 拷贝 (常用)-appendToFile 追加下载-copyToLocal 下载-get 下载HDFS直接操作-ls 显示目录信息-cat 显示文件内容-chgrp/-chmod/-chown/ 修改文件所属权限-mkdir 创建路径-cp HDFS中拷贝-mv 在HDFS目录中移动文件-tail 显示文件末尾的数据-rm
Hadoop之HDFS02【上传下载文件原理】
波波烤鸭的博客
04-02 1843
文件上传原理 原理步骤:   客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本 根namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在 name...
HDFS文件操作
2302_76694571的博客
07-22 1080
HDFS文件操作
HDFS详解02
Binbinhb的博客
03-05 472
一、pid 1、pid 默认放在/tmp目录下，pid内容为jps的进程号。 2、删除进程，一般不会通过ps -ef|grep hadoop来删除，因为进程号不只是PID，还会出现别的进程号，可能会误杀别的进程 （1）查看停止hdfs的脚本内容 执行的是hadoop-daemons.sh脚本停止 （2）查看hadoop-daemons.sh脚本 执行的是hadoop-dae...
Hadoop-HDFS
p0p09的博客
06-24 790
相对而言，edit日志文件通常都要远远小于fsimage,一个edit日志文件最大64M，更新操作写入到EditLog是非常高效的。3、slave启动后，会主动连接IPC服务，并且每隔3秒链接一次，这个时间是可以调整的，设置heartbeat，这个每隔一段时间连接一次的机制，称为心跳机制。命名空间镜像文件，它是文件系统元数据的一个完整的永久检查点，内部维护的是最近一次检查点的文件系统树和整棵树内部的所有文件和目录的元数据，如修改时间，访问时间，访问权限，副本数据，块大小，文件的块列表信息等等。
HDFS命令
早拾碗吧的博客
04-29 895
常用HDFS操作命令
Hadoop—HDFS
m0_62193445的博客
08-29 1233
客户端 -> NameNode 一般最少俩台存储元数据（存储的文件名格式等） 不包扩数据存储的DataNode节点 多台NameNode根据Zookeeper进行选主当主节点宕机会自动切换，如果是因为网络延时Zookeeper没能监听到，会先杀死该线程再切换主节点。6.ANN会使用fsimage加edits inprogress文件还有大于fsimage的edits文件即可完全恢复元数据。3.主备NN的edits都是不完整，但是QJM是完整的。1.edits文件用于存储元数据，默认2分钟生成一个。
HDFS读写测试
南风知我意
06-09 2068
2.先测试硬盘的读写，看下硬件瓶颈 1.fio命令，测试磁盘的读写性能 （1）顺序读测试 结果显示，磁盘的总体顺序读速度为360MiB/s。 结果显示，磁盘的总体顺序写速度为341MiB/s。 结果显示，磁盘的总体随机写速度为309MiB/s。 （4）混合随机读写： 结果显示，磁盘的总体混合随机读写，读速度为220MiB/s，写速度94.6MiB/s。测试网速：来到hadoop102的/opt/module目录，创建一个 0）写测试底层原理 2）注意：如果测试过程中，出现异常 （1）可以在yarn-sit
Hadoop02---HDFS基础(HDFS原理 java客户端).md
11-27
自己的笔记，仅供参考，包含HDFS的启动停止，HDFS基本原理（上传文件、连接校验，下载文件，数据存储位置，通信机制，namenode和DataNode职责，元数据工作机制），java端操作HDFS的基本方法
02--HDFS Java API操作.docx
03-18
HDFS Java API 操作 HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和管理大量数据。Java API 是 HDFS 的一个编程接口，允许开发者使用 Java 语言来操作 HDFS 中的文件和目录。本文将介绍...
02-HDFS安装部署及静态加密.pdf
06-02
HDFS（Hadoop Distributed File System）是Apache Hadoop项目的一个关键组成部分，它是一个高度容错性的系统，适合在廉价硬件上运行分布式存储大量数据集。本文将详细解析HDFS的安装部署及静态加密相关知识点。 ...
perl-Test-Compile-2.2.2-2.el8.tar.gz
09-07
# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
swagger-models-jakarta-2.2.30.jar中文-英文对照文档.zip
最新发布
09-07
1、压缩文件中包含： 中文-英文对照文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
分时顶底(2).tn6
09-07
分时顶底(2).tn6
深入理解计算机系统学习笔记与习题解析-计算机系统原理-汇编语言-处理器架构-程序优化-存储器层次-链接机制-异常控制流-虚拟内存-系统IO-网络编程-并发编程-学习资源-知识整理-.zip
09-07
tdr深入理解计算机系统学习笔记与习题解析_计算机系统原理_汇编语言_处理器架构_程序优化_存储器层次_链接机制_异常控制流_虚拟内存_系统IO_网络编程_并发编程_学习资源_知识整理_.zip
perl-Text-CSV-2.00-2.el8.tar.gz
09-07
# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
基于关系型数据库管理系统RMDB的完整教学项目-包含多个冻结任务分支的满分代码实现-用于数据库系统学习与实践的综合性教程-关系型数据库-MySQL-SQL查询-数据库设计-事务.zip
09-07
tdr基于关系型数据库管理系统RMDB的完整教学项目_包含多个冻结任务分支的满分代码实现_用于数据库系统学习与实践的综合性教程_关系型数据库_MySQL_SQL查询_数据库设计_事务.zip
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值