HDFS

最新推荐文章于 2025-04-01 13:53:25 发布
最新推荐文章于 2025-04-01 13:53:25 发布
阅读量757 收藏 2
点赞数 4
CC 4.0 BY-SA版权
文章标签： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/youyigebug/article/details/102960383
知识回顾
 
传统服务器系统安装
 
系统硬盘（100%完全独立，不要存储业务数据）
 
物理磁盘做raid1（两个硬盘物理备份）
/boot 200M
/SWAP 内存的1-2被（大数据集群中要关闭）
/ 所有的空间
数据硬盘
 
多块小的硬盘 做一个大的硬盘（逻辑卷）
 
大数据服务器系统安装
 
系统硬盘
 
（100%完全独立，不要存储业务数据）
物理磁盘做raid1（两个硬盘物理备份）
/boot 200M
/SWAP 内存的1-2被（大数据集群中要关闭）
/ 所有的空间
 
数据硬盘
 
优先不做raid 必须做raid时 物理磁盘做raid0
多块小的硬盘独立挂载（一个硬盘一个目录）大数据技术为什么快
 
1、传统的时纵向扩展
服务器数量不发生变化，配置越来越高（发生变化）
大数据横向扩展
配置不发生变化，服务器数量越来越多（发生变化）
2 传统的方式资源（cpu/内存/硬盘）集中
 
大数据方式资源（cpu/内存/硬盘）分布(前提：同等配置的前提下)
3 传统数据备份方式单份备份
 
大数据数据备份方式多分备份（数据复制，默认三个副本）
 
4 传统的计算模型是移动数据到程序端
大数据计算模型是移动程序到数据端
io 和网络的使用率都非常低，且多节点存储，多节点计算（众人拾柴火焰高）
hadoop版本
1.0 hadoop指的是HDFS+Mapreduce
2.0 hadoop指的是HDFS+Mapreduce+yarn
 
hadoop三大公司
免费开源版本apache：http://Hadoop.apache.org/hortonWorks公司 免费版本 收费版本
Cloudera （CDH） 免费版本 收费版本
 
Hadoop的组成部分
1、HDFS：海量数据的存储系统
2、Map Reduce：海量数据的计算系统（计算框架）
3、YARN：集群资源管理（调度）的框架。

HDFS WEB UI

当我们启动HDFS集群后，然后通过http://master:50070/去访问HDFS WEB UI的时候，我们会经常使用Utilities下的Browse the file system去查看HDFS中的文件，如下：

 

然后就会出现HDFS中的根目录下所有的文件：

 

 上面的方式是我们常见的访问HDFS文件的方式之一，这种使用的方式也是很方便的。

 

当我们启动HDFS集群后，我们可以通过http://master:50070来访问HDFS集群，其中，master是NameNode所在机器的名称。下面的就是HDFS WEB UI的七个大模块：

 

 

 这篇文章，我们重点分别来详细看一下Overview、Datanodes以及Utilities三个模块

Overview

 

 第1处的master:9999表示当前HDFS集群的基本路径。这个值是从配置core-site.xml中的fs.defaultFS获取到的。

  • 第2处的Started表示集群启动的时间
  • 第3处的Version表示我们使用的Hadoop的版本，我们使用的是2.7.5的Hadoop
  • 第4处的Compiled表示Hadoop的安装包(hadoop-2.7.5.tar.gz)编译打包的时间，以及编译的作者等信息
  • 第5处的Cluster ID表示当前HDFS集群的唯一ID
  • 第6处的Block Pool ID表示当前HDFS的当前的NameNode的ID，我们知道通过HDFS Federation （联盟）的配置，我们可以为一个HDFS集群配置多个NameNode，每一个NameNode都会分配一个Block Pool ID

 

Summary

 

  1.    第1处的Security is off表示当前的HDFS集群没有启动安全机制
  • 第2处的Safemode is off表示当前的HDFS集群不在安全模式，如果显示的是Safemode is on的话，则表示集群处于安全模式，那么这个时候的HDFS集群是不能用的
  • 第3处表示当前HDFS集群包含了3846个文件或者目录，以及1452个数据块，那么在NameNode的内存中肯定有3846 + 1452 = 5298个文件系统的对象存在
  • 第4处表示NameNode的堆内存(Heap Memory)是312MB，已经使用了287.3MB，堆内存最大为889MB，对
  • 第5处表示NameNode的非堆内存的使用情况，有效的非堆内存是61.44MB，已经使用了60.36MB。没有限制最大的非堆内存，但是非堆内存加上堆内存不能大于虚拟机申请的最大内存(默认是1000M)
  • 第6处的Configured Capacity表示当前HDFS集群的磁盘总容量。这个值是通过：Total Disk Space - Reserved Space计算出来的。Total Disk Space表示所在机器所在磁盘的总大小，而Reserved Space表示一个预留给操作系统层面操作的空间。Reserved space空间可以通过dfs.datanode.du.reserved(默认值是0)在hdfs-site.xml文件中进行配置。我们这边的总容量为什么是：33.97GB呢，我们可以通过du -h看一下两个slave的磁盘使用情况，如下：

 

上面 17GB + 17GB = 34GB，而且我们没有配置Reserved Space，所以HDFS总容量就是33.97GB(有一点点的误差可以忽略)

  • 第7处DFS Used表示HDFS已经使用的磁盘容量，说白了就是HDFS文件系统上文件的总大小(包含了每一个数据块的副本的大小)
  • 第8处Non DFS Used表示在任何DataNodes节点上，不在配置的dfs.datanode.data.dir里面的数据所占的磁盘容量。其实就是非HDFS文件占用的磁盘容量

配置dfs.datanode.data.dir就是DataNode数据存储的文件目录

  • 第9处DFS Remaining = Configured Capacity - DFS Used - Non DFS Used。这是HDFS上实际可以使用的总容量
  • 第10处Block Pool Used表示当前的Block Pool使用的磁盘容量
  • 第11处DataNodes usages%表示所有的DataNode的磁盘使用情况(最小/平均/最大/方差)
  • 第12处Live Nodes表示存活的DataNode的数量。Decommissioned表示已经下线的DataNode
  • 第13处Dead Nodes表示已经死了的DataNode的数量。Decommissioned表示已经下线的DataNode
  • 第14处Decommissioning Nodes表示正在下线的DataNode的数量。
  • 第15处Total Datanode Volume Failures表示DataNode上数据块的损坏大小
  • 第16处Number of Under-Replicated Blocks表示没有达到备份数要求的数据块的数量
  • 第17处Number of Blocks Pending Deletion表示正要被删除的数据块
  • 第18处Block Deletion Start Time表示可以删除数据块的时间。这个值等于集群启动的时间加上配置dfs.namenode.startup.delay.block.deletion.sec的时间，其中配置dfs.namenode.startup.delay.block.deletion.sec默认是0秒

Datanodes

 

 上面有一个Admin State我们有必要说明下，Admin State可以取如下的值：

  1. In Service，表示这个DataNode正常
  2. Decommission In Progress，表示这个DataNode正在下线
  3. Decommissioned，表示这个DataNode已经下线
  4. Entering Maintenance，表示这个DataNode正进入维护状态
  5. In Maintenance，表示这个DataNode已经在维护状态

 

 我们这里详细总结下Browse the file system，对于Logs我们在HDFS日志的查看总结中讲解

当我们点击Browse the file system时，我么会进入到如下的界面：

 

上图每一个字段的解释如下：

  • Permission：表示该文件或者目录的权限，和Linux的文件权限规则是一样的
  • Owner：表示该文件或者目录的所有者
  • Group：表示该文件或者目录的所有者属于的组
  • Size：表示该文件或者目录的大小，如果是目录的话则一直显示0B
  • Last Modified：表示该文件或者目录的最后修改时间
  • Replication：表示该文件或者目录的备份数，如果是目录的话则一直显示0
  • Block Size：表示该文件的数据块的大小，如果是目录的话则一直显示0B
  • Name：表示文件或者目录的名字

我们可以通过鼠标点击Name来访问对应的文件目录或者文件：

当我们访问的是目录的时候，则是去查看该目录下有哪些子文件或者子目录。

当我们访问的是文件的时候，我们查看的是文件的详细信息，比如，我们访问文件/user/omneo.csv文件：

HDFS 特性
 
1、海量数据存储： HDFS可横向扩展，其存储的文件可以支持PB级别数据。
2、高容错性：节点丢失，系统依然可用，数据保存多个副本，副本丢失后自动恢复。
可构建在廉价（与小型机大型机比）的机器上，实现线性扩展(随着节点数量的增加，集群的存储能力，计算能力随
之增加)。
3、大文件存储：DFS采用数据块的方式存储数据，将一个大文件切分成多个小文件，分布存储。
 
HDFS缺点：
 
1、 不能做到低延迟数据访问： HDFS 针对一次性读取大量数据继续了优化，牺牲了延迟性。
2、不适合大量的小文件存储 ：
A:由于namenode将文件系统的元数据存储在内存中,因此该文件系统所能存储的文件总数受限于namenode的内存
容量。
B:每个文件、目录和数据块的存储信息大约占150字节。
由于以上两个原因，所以导致HDFS不适合大量的小文件存储
3、文件的修改； 不适合多次写入，一次读取（少量读取）
4、不支持多用户的并行写。
 
HDFS高级命令
 
HDFS上的某一个特定的目录存储的数据副本 、数据量、文件的个数进行设置。
设置目录可以存储的文件的数量 hdfs dfsadmin -setQuota 100 lisi （文件夹本身算一个）
清空文件夹内数据良方的限制 hdfs dfsadmin -clrQuota /user/root/lisi
限制文件夹下存储的数据量 hdfs dfsadmin -setSpaceQuota 100M /user/root/lisi
清空文件夹数量的限制 hdfs dfsadmin -clrSpaceQuota /user/root/lisi
查看文件夹的限额数 hdfs dfs -count -q -h /user/root/lisi
 
HDFS安全模式
 
安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请
求。
HDFS什么时候进入安全模式：在NameNode主节点启动时，HDFS首先进入安全模式
在安全模式下做了什么： DataNode在启动的时候会向namenode汇报可用的block等状态
查看hdfs在什么模式 hdfs dfsadmin -safemode get进入hdfs安全模式 hdfs dfsadmin -safemode enter
退出hdfs安全模式 hdfs dfsadmin -safemode leave
 
Fsimage Edits
 
Fsimage 记录HDFS文件系统的镜像或快照（周期性记录）（此文件相对较小）
Edits 记录客户端对进行的所有的增、删、改、追加等操作（没有使用Secondary NameNode之前，不是周期性生
成）（此文件相对较大）
Fsimage Edits作用：用于还原集群上次关闭时的状态。还原时将两个文件加载到内存，检查、合并最终生成一个新
的Fsimage 。原本的Edits失效。

 

未烬丶
关注
自然语言处理之文本分类：Transformer在文本分类中的应用
zhubeibei168的博客
05-19 802
文本摘要是生成文本的简短版本，保留其主要信息。这在新闻文章、学术论文等领域非常有用。Transformer模型是自然语言处理领域的一个重要突破，由Vaswani等人在2017年的论文《Attention is All You Need》中提出。它摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）的序列依赖性，引入了自注意力机制（Self-Attention），使得模型能够并行处理输入序列，大大提高了训练效率。
STM32八种I/O口模式
Yin_w的博客
03-31 3335
作为两年嵌入式软件攻城狮，还没仔细去理解过STM32的GPIO的八种使用模式，俗话说嵌入式软硬件不分家，软件不懂硬件，出了问题有时候只能拿“抓虾”，今天有点时间，特此总结一下学过的有关STM32的GPIO模式的硬件知识。
Vision Transformer实战：如何将Transformer应用于图像分类
最新发布
像风一样自由
04-01 1499
传统图像分类任务由CNN主导，但Transformer凭借其**全局建模能力**，在ImageNet等基准任务中刷新了记录。2020年，Vision Transformer（ViT）的提出标志着Transformer正式进军CV领域。本文将以实战为导向，详解如何用纯**Transformer实现图像分类**，并提供完整PyTorch代码实现。
使用transformer进行图像分类
weixin_40920183的博客
08-15 1万+
文章目录1、导入模型2、定义加载函数3、定义批量加载函数4、加载数据5、定义数据预处理及训练模型的一些超参数6、定义数据增强模型7、构建模型7.1 构建多层感知器（MLP）7.2 创建一...
深度学习案例之基于 CNN 的 MNIST 手写数字识别
fenglepeng的博客
09-07 6952
一、模型结构 本文只涉及利用Tensorflow实现CNN的手写数字识别,CNN的内容请参考:卷积神经网络(CNN) MNIST数据集的格式与数据预处理代码input_data.py的讲解请参考 :Tutorial (2) 二、实验代码 # -*- coding: utf-8 -*- import tensorflow as tf # 导入input_data用于自动下载和安装MNIST数据集 from tensorflow.examples.tutorials.mnist import inpu
transformer在图像分类上的应用以及pytorch代码实现
热门推荐
qq_37937847的博客
04-09 5万+
文章目录1.对transformers的简单介绍1.1序列数据的介绍（seq2seq）1.2self-Attention1.3 transformer的完整结构2.transformers在图像分类上的pytorch代码2.1加载cifar10数据集2.2构建transformers模型2.2.1构建图像编码模块 Embeddings2.2.3构建前向传播神经网络模块2.2.4构建编码器的可重复利用Block模块2.2.5构建Encoder模块2.2.6 构建完整的transformers2.2.7构建Vi
STM32 IO口的八种模式
冉冰的小窝
05-12 5785
【冉冰的成长日记007】 STM32 的 IO 口可以由软件配置成如下 8 种模式： 1、输入浮空 2、输入上拉 3、输入下拉 4、模拟输入 5、开漏输出 6、推挽输出 7、推挽式复用功能 8、开漏复用功能 每组IO口包含7个寄存器。 分别是 - GPIOx_CRL：端口配置低寄存器 - GPIOx_CRH：端口配置高寄存器 - GPIOx_IDR：端口输入寄存器 - GPIOx_ODR：端口输出寄存器 GPIOx_BSRR：端口位设置/清除寄存器 GPIOx_BRR：端口位清除寄存器 GPIOx_L
Swin Transformer 实现图像分类
05-29
在本项目中，你将找到一个完整的Swin Transformer实现，用于图像分类任务。项目包括以下文件： 1. `class_indices.json`：这是一个字典文件，它将类别ID与对应的类别名称映射起来，对于理解和处理预测结果非常有用...
VIT(vision transformer)实现图像分类
05-29
VIT(vision transformer)实现图像分类，是将transformer首次应用于CV(计算机视觉)领域，该资源包含所有源代码，拿走技能运行跑通，包含数据集和训练好的权重，分类精度高达99%以上。
使用swin_transformer做自己数据集的图像分类
04-30
使用的数据集共有5种类别，使用Swin-T预训练模型进行训练。
【STM32】浅析8种IO口模式
zi__li的博客
04-12 3184
Stm32上的IO口有8种模式可以选择，分别为： 四种输入模式： （1）浮空输入 （2）输入上拉 （3）输入下拉 （4）模拟输入 四种输出模式： （5）开漏输出 （6）推挽输出 （7）复用开漏输出 （8）复用推挽输出 下...
transformer的具体应用：图像分类
m0_74096414的博客
12-07 2760
在上面的结构图中可以看到，输入Encoder的最左侧部分添加了一个0*这个Token，这个就是额外添加的一个[class]token，单独用来处理类别信息，经过Encoder之后，需要单独将这个Token再提取出来，输入到MLP Head之中再输出分类结果。这一步的操作在论文中是直接采用切割的处理办法，但是在后面的代码实现中，采用了一种更巧妙的解决思路，就是利用一个卷积核大小为16x16，步距为16，卷积核个数为768的卷积层来进行实现。在Transformer中，位置编码的作用是为了记忆输入的语序信息。
[Python]基于CNN的MNIST手写数字识别
weixin_33887443的博客
06-25 3242
目录 一、背景介绍 1.1 卷积神经网络 1.2 深度学习框架 1.3 MNIST 数据集 二、方法和原理 2.1 部署网络模型 （1）权重初始化 （2）卷积和池化 （3）搭建卷积层1 （4）搭建卷积层2 （5）搭建全连接层3 （6）搭建输出层 2.2 训练和评估模...
基于CNN的Mnist手写数字识别（Pytorch）
qq_47564006的博客
06-27 1189
GPU版本Pytorch实现基于CNN手写数字识别，测试集准确率99.29%，含数据预处理与模型保存
深度学习：使用卷积神经网络CNN实现MNIST手写数字识别
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
08-09 5564
卷积神经网络是一种多层、前馈型神经网络。从功能上来说，可以分为两个阶段，特征提取阶段和分类识别阶段。特征提取阶段能够自动提取输入数据中的特征作为分类的依据，它由多个特征层堆叠而成，每个特征层又由卷积层和池化层组成。处在前面的特征层捕获图像中局部细节的信息，而后面的特征层能够捕获到图像中更加高层、抽象的信息。MNIST数据集是美国国家标准与技术研究院收集整理的大型手写数字数据库,包含60,000个示例的训练集以及10,000个示例的测试集。其中的图像的尺寸为28*28。
深度学习——CNN实现MNIST手写数字的识别
尘心平的博客
08-01 2万+
本篇博客记录了学习K同学啊的深度学习100例的第一例的学习过程,主要介绍了CNN神经网络的基本知识,使用方法及使用流程, 简单介绍了数据集的归一化和标准化 激活函数 优化器 损失函数 metrics等配置............
基于视觉 Transformer（ViT）进行图像分类
Warmer_Sweeter
11-20 2637
点击下方卡片，关注“小白玩转Python”公众号引言近年来，Transformer 架构彻底改变了自然语言处理（NLP）任务。视觉Transformer（ViT）将这一创新更进一步，将变换器架构适应于图像分类任务。本教程将指导您使用ViT对花卉图像进行分类。先决条件要跟随本教程，您应该具备以下基础知识：Python编程深度学习概念TensorFlow和Keras数据集概览在本教程中，我们将使用一个...
【深度学习】使用transformer进行图像分类
fengdu78的博客
09-10 1万+
文章目录1、导入模型2、定义加载函数3、定义批量加载函数4、加载数据5、定义数据预处理及训练模型的一些超参数6、定义数据增强模型7、构建模型7.1 构建多层感知器（MLP）7.2 创建一...
基于CNN的MINIST手写数字识别项目代码以及原理详解
Oona_01的博客
05-05 817
其中分子的zi是多分类中的第i类的输出值，分母将所有类别的输出值求和，使用指数函数来将其转换为概率，最终将神经网络上一层的原始数据归一化到[ 0 , 1 ] [0,1][0,1]，使用指数函数的原因是因为上一层的数据有正有负，所以使用指数函数将其变为大于0的值。首先我们需要自己手写一个数字。因为在深度学习中，训练的数据通常数量十分巨大，不能一次性的把全部数据都传到模型中进行训练，所以要利用数据加载，将源数据的顺序打乱，进行分批和预处理后，最后将处理好的数据传给模型进行训练，这样才能保证模型训练的准确性。
transformer用于图像分类
02-24
### 使用Transformer模型进行图像分类的方法 #### 方法概述 为了使Transformer能够应用于图像分类任务，一种有效的方式是将图像分割成固定大小的小块（patches），这些小块被线性映射为向量，并加上位置编码以保留空间信息[^2]。 #### 数据预处理 在准备输入数据的过程中，原始图片会被切分成多个不重叠的patch。假设一张尺寸为\(H \times W\)的RGB图像是要处理的对象，则可以按照设定好的宽度和高度参数来划分该图像。例如，对于分辨率为\(224\times 224\)像素的图像，如果选择每边切成16个部分的话，那么最终会得到\((224/16)^2=196\)个小方格作为单独的特征表示单元。之后，每一个这样的补丁都会通过一个简单的全连接层转换成为维度固定的嵌入向量。 ```python import torch from torchvision import transforms def preprocess_image(image_path, patch_size=16): transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), # 假设目标分辨率是224x224 transforms.ToTensor(), ]) image = Image.open(image_path).convert('RGB') tensor = transform(image) patches = [] for i in range(tensor.shape[-2] // patch_size): # 高度方向上的循环 row_patches = [] for j in range(tensor.shape[-1] // patch_size): # 宽度方向上的循环 patch = tensor[:, :, i*patch_size:(i+1)*patch_size, j*patch_size:(j+1)*patch_size].flatten() row_patches.append(patch) patches.extend(row_patches) return torch.stack(patches) ``` #### 构建Transformer架构 构建Vision Transformer (ViT)，通常包括以下几个组成部分： - **Patch Embedding Layer**: 将每个图像块转化为低维向量； - **Positional Encoding Layer**: 添加绝对或相对位置信息给上述获得的向量序列； - **Multiple Layers of Self-Attention and Feed Forward Networks**: 多层自注意机制与前馈神经网络交替堆叠而成的核心模块； 最后，在顶层附加一个全局平均池化层(Global Average Pooling)以及一个多类别Softmax回归器用于预测类标签。 ```python class VisionTransformer(nn.Module): def __init__(self, num_classes=1000, embed_dim=768, depth=12, num_heads=12, mlp_ratio=4., qkv_bias=False, drop_rate=0.): super().__init__() self.patch_embed = PatchEmbed(embed_dim=embed_dim) self.pos_embed = nn.Parameter(torch.zeros(1, self.patch_embed.num_patches + 1, embed_dim)) self.cls_token = nn.Parameter(torch.zeros(1, 1, embed_dim)) dpr = [drop_rate for _ in range(depth)] self.blocks = nn.Sequential(*[ Block( dim=embed_dim, num_heads=num_heads, mlp_ratio=mlp_ratio, qkv_bias=qkv_bias, drop=dpr[i], ) for i in range(depth)]) self.norm = nn.LayerNorm(embed_dim) self.head = nn.Linear(embed_dim, num_classes) def forward(self, x): B = x.shape[0] cls_tokens = self.cls_token.expand(B, -1, -1) x = self.patch_embed(x) x = torch.cat((cls_tokens, x), dim=1) x += self.pos_embed x = self.blocks(x) x = self.norm(x) return self.head(x[:, 0]) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值