Hadoop——第二部份 Hadoop3.x之HDFS

最新推荐文章于 2024-05-07 16:00:04 发布
原创 最新推荐文章于 2024-05-07 16:00:04 发布 · 322 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs #big data

本文深入探讨了Hadoop3.x中的HDFS，涵盖了HDFS的概念、优缺点、块机制、Shell及API操作，以及NameNode、SecondNameNode和DataNode的工作原理。HDFS适用于大数据存储，具有高容错性和可扩展性，但不适合低延迟和大量小文件存储。

Hadoop

第二部份 Hadoop3.x之HDFS

一、HDFS概述

1.1 概念

HDFS(Hadoop Distributed File System)是一个分布式的文件系统，通过目录树定位文件。
所谓目录树，就是类似Linux的文件结构，从根目录往下产生的分支结构。
所谓分布式，是指实际存放的位置可能分布在于多个服务器上。
HDFS的应用场景主要在于海量的数据存储，适于一次写入，多次读取(smr)。

1.2 优缺点
  1. 优点
  • 高容错
  • 适合大数据存储
  • 可搭建廉价机集群
  1. 缺点
  • 不适合低延时
  • 不适合大量小文件存储
    通过NameNode存储文件目录和块信息，NameNode大小128G，每条信息150字节，最大存储约9亿个。
  • 不支持并发写入、文件随机修改。
1.3 HDFS的组成
1.4 HDFS的块
  • HDFS中的文件在物理上分块存储，块大小可通过配置参数dfs.blocksize规定，默认为128M
  • HDFS的块并不是只能存储一个文件，因此文件最小占用空间大小并不是块大小
  • 寻址时间是找到目标块的时间，块过小会增加寻址时间
  • 寻址时间为传输时间的1%比较合适
  • 如寻址时间为10ms，则传输时间为1s，机械硬盘的传输速率约在近百M，因此块大小一般为128M，二三百M的传输速率如固态硬盘一般设256M
最低0.47元/天 解锁文章
Hadoop3.x 之 HDFS 写数据流程 完整使用 (月薪过万 第六章)
小坏说Java，一个专注Java微服务架构的实战，Java全栈教程，SpringBoot, SpringCloud微服务到分布式、高并发架构，大数据开发，运维实战，K8S、Docker容器为一体的教程，结合企业级内部的技术栈学习
07-12 957
Hadoop3.x 之 HDFS 写数据流程 完整使用一、刨析文件的写入二、网络拓朴-节点距离计算三、机架感知（副本存储节点选择）四、HDFS 读数据流程 一、刨析文件的写入 二、网络拓朴-节点距离计算 三、机架感知（副本存储节点选择） 四、HDFS 读数据流程 ...
Hadoop3.x 之 HDFS 完整使用 (月薪过万 第五章)
小坏说Java，一个专注Java微服务架构的实战，Java全栈教程，SpringBoot, SpringCloud微服务到分布式、高并发架构，大数据开发，运维实战，K8S、Docker容器为一体的教程，结合企业级内部的技术栈学习
07-09 857
Hadoop3.x 之 HDFS 完整使用一、HDFS 概述1、HDFS 产生背景2、HDFS 定义3、HDFS 优点4、HDFS 缺点二级目录三级目录 一、HDFS 概述 1、HDFS 产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系 统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这 就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种 2、HDFS 定义 HDFS（Hadoop Distributed File Sy
第二课 大数据技术之Hadoop3.x的HDFS
QnHyn
06-10 465
hdfs
hadoop3.x入门到精通-阶段三(HDFS源码..持续更新)
S1124654的博客
06-30 422
hadoop3.x入门到精通-阶段三(HDFS源码..持续更新)
Hadoop 3.x（入门搭建+安装调优）(二-HDFS)
qq_42227818的博客
02-08 1679
P39 HDFS课程介绍 P40 HDFS产生背景和定义 多台服务器存储其中 一部分 HDFS不能进行修改，上传来的文件只能追加 P41 HDFS优缺点 每个文件块占150字节，内存128G，算下来能存9亿个文件 P42 HDFS组成 namenode管理谁在什么位置，块的存储信息，处理客户端读写请求 2nn并非namenode热备，当namenode宕机后，并不能马上替换namenode服务。只是辅助namenode，分担工作量，定期 合并fsimage和edits P43 HDFS
Hadoop3系列——(一)HDFS完全分布式搭建
qq_41622603的博客
09-22 656
搭建出来的节点分布 先准备3台机器，我是先准备一台node1然后通过克隆把node2和node3克隆出来 一、安装jdk1.8 安装教程： https://blog.csdn.net/qq_41622603/article/details/108736521 二、配置IP和主机名映射 编辑 /etc/hosts文件：vi /etc/hosts 加入最后面3行 三、安装和配置Hadoop3 (1)，下载和上传 下载地址：https://mirror.bit.edu...
精选资源
外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
01-09
报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595  防火墙记得关掉； 查看DataNode是否启动；...
精选资源
Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码
09-10
Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】--...
hive启动遇到org.apache.hadoop.hdfs.server.namenode.SafeModeException问题
m0_52940806的博客
12-11 1709
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hive/root/32971d9f-e837-4f3c-af46-399208c1ee7b. Name node is in safe mode. The reported blocks 0 needs additional 8 blocks to rea
Hadoop 2.X HDFS源码剖析-高清-完整目录-2016年3月
04-16
Hadoop 2.X HDFS源码剖析-高清-完整目录-2016年3月,分享给所有需要的人!
Hadoop3.x进阶之HDFS
正在努力的杜三岁
01-03 673
版本3.1.3
Hadoop-HDFS（十三） Hadoop 3.x 新特性( 了解)
奥迪的博客
01-19 562
13 Hadoop 3.x 新特性( 了解) 1、将默认的最低 jdk 从 7 升级到 8 2、纠删码可以将 3 倍副本占据的空间压缩到 1.5 倍，并保持 3 倍副本的容错。由于在读取数据的时候需要进行额外的计算，用于存储使用不频繁的数据 3、通过扩展 YARN 的资源类型，支持 CPU 和内存之外的其他资源，如 GPU、FPGA、软件许可证、本地存储等。 4、重写了 hadoop 中的 shell 脚本，修复了很多长期存在的 bug 并添加了新特性。有一些改进兼容老版本，有一些不兼容。 5、.
Hadoop 3.x|第四天|HDFS的Shell操作
z754916067的博客
03-22 391
目录前言上传1.启动Hadoop集群2.创建文件夹3.从本地剪切到HDFS4.从本地拷贝文件到HDFS中5.追加一个文件到已经存在的文件末尾下载1.从HDFS拷贝到本地直接操作1.统计文件夹的大小信息2.设置 HDFS 中文件的副本数量 前言 hadoop fs xxx 和 hdfs dfs xxx 是同样的命令 上传 1.启动Hadoop集群 启动Hadoop集群 sbin/start-dfs.sh sbin/start-yarn.sh 2.创建文件夹 参数：-mkdir hadoop fs -mk
Hadoop3：HDFS的架构组成
最新发布
Brave_heart4pzj的博客
05-07 653
Hadoop
Hadoop 3.x|第四天|HDFS的定义
z754916067的博客
03-22 720
目录定义优点缺点组成NameNodeDataNode2NN客户端文件块大小原因（？）注意总结 定义 HDFS是一个文件系统，是分布式文件管理系统中的一种，适合一次写入，多次读出的场景。 优点 高容错性：自动保存多个副本，也可以自动恢复。 适合处理大数据：能够处理规模达到GB TB甚至PB级别的数据。 文件规模：能够处理百万规模以上的文件数量。 性价比高：可以构建在廉价机器上，通过多副本机制，提高可靠性。 缺点 不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。 无法高效的对大量小文件进行存储：因为存
hdfs块大小（block）
qq_48959845的博客
08-23 2076
1，hdfs中文件在物理上的分块存储（block）默认大小位128M（2.x），（1.x版本的是64M） 2，集群中的block 寻址时间位10ms，一般认为寻址时间为传输时间的1%位最佳状态，则传输时间为10ms/0.01=1s，目前磁盘传输速率为100M/s,所以在集群中的block大小为100M ...
HDFS中block的大小
qq_46416934的博客
08-30 1565
HDFS中寻址时间一般为10ms，则传输时间最好为10ms/1%=1000ms=1s，而当前普通的机械硬盘的传输速度为100M/s左右，所以为了达到最佳状态，每个地址的数据大小最好为1s*100M/s=100M。如果block过大，传输时间的%1会明显大于寻址时间，导致寻址时间与传输时间不平衡，另外InputFormat的默认切片规则会以block的大小确定切片的大小，block越大，切片就会越大，Map过程会变得缓慢。由此每个block大的大小默认设置为128M。...
hadoop dfsblock.size设置
加菲猫小站
12-30 3455
dfs.block.size 512000000 500M 大小 dfs.datanode.data.dir /home/1/dfs/dn,/home/2/dfs/dn,/home/3/dfs/dn dfs.block.size ...
大数据Hadoop3.1.3——HDFS小文件弊端以及优化方法
caron的博客
04-21 827
1 HDFS小文件弊端 HDFS上每个文件都要在NameNode上建立一个索引，这个索引的大小约为150byte，这样当小文件比较多的时候，就会产生很多的索引文件，一方面会大量占用NameNode的内存空间，另一方面就是索引文件过大使得索引速度变慢。 2 HDFS小文件解决方案 1、小文件优化的方向： （1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS。 （2）在业务处理之前，在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值