（大数据分析-1）HDFS Review

最新推荐文章于 2025-10-29 22:15:42 发布
原创 最新推荐文章于 2025-10-29 22:15:42 发布 · 754 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#HDFS #大数据

本文介绍了HDFS的基本原理，包括其设计目标、高可用性、文件读写流程以及相关指令操作。并展示了如何通过具体指令查看HDFS的目录结构、拓扑信息和管理报告。


1 HDFS基本原理及介绍

1.1 基本原理

HDFS仅负责存储数据，mapReduce负责读写数据

  • 设计目标：大文件存储（TB、PB）、高容错（软件容错，数据多份拷贝）、高吞吐
  • 不适合场景：存储大量小文件、随机读取、低延迟读取
1.1.1 HDFS基本概念
  1. 数据块（block）

    大文件会被分割为多个block（默认128M存储，小于一个块的文件不会占据整个空间），一 个数据块在多个datanode上存储多份副本（默认3份），副本可以通过校验解决大量存储问 题

    block是HDFS中数据读写的最小单位，大小可配置。如果BLOCK配置太小，寻址时间占比高； block配置太大，map数太小，作业变慢

    块存储优势：

    • 文件数据块可分布不同磁盘
    • 元数据（meta data）与用户数据分开存储
    • 提高数据容错能力和可用性
    • 提高读取性能

    数据块和副本在不同机柜传输，避免单点故障，需要考虑内部网络通信带宽。

  2. namenode（类似书籍目录）

    记录文件系统的元数据，维护文件系统树及整个树内所有的文件和目录

    • 管理文件系统的命名空间（元数据信息：所有目录和文件）
    • 记录命名空间的改动和本身属性改动
    • 保存数据块的节点信息。不持久保存。
    • 协同clicent对文件的访问
  3. dataNode
    • 存储管理数据块，供客户端或nameNode调度
    • 定期向namenode发送存储块的列表

    nameNode中保存文件和块之间的所属关系。dataNode中保存数据块和本地文件的对应关系。如果nameNode毁坏，dataNode无法恢复文件。

  4. 心跳机制
    • dataNode周期性向nameNode发送心跳信号和状态报告
    • namenode根据报告验证元数据
    • 超时的dataNode标记为宕机，不再发送IO任务
1.1.2 HDFS High Availability（高可用性）
  • 1.0：存在namenode单点问题，集群只有1个namenode，宕机后需要停止整个集群
  • 2.0：主备namenode，分别active和standby，datanode同时发送给两个namenode数据（心跳、文件和数据块对应关系等），做到热切换，通过第3方（zookeeper）检查、监测、切换namenode
1.1.3 HDFS文件读写
  1. HDFS读文件
    1. client用filesystem的open（）函数打开文件
    2. distributedFileSystem通过RPC调用元数据节点，得到文件数据块信息
    3. 对于每一个数据块，元数据节点返回保存数据块的数据节点地址
    4. distributedFileSystem返回FSDataInputStream给客户端，用来读取数据
    5. client调用stream的read（）函数开始读取数据
    6. DFSInputStream连接保存此文件第一个数据块的最近数据节点
    7. 当此数据块读取完毕，DSFInputStream关闭数据连接
  2. HDFS写文件
    1. client调用creat（）创建文件
    2. DistributedFileSystem用RPC调用元数据节点，在文件系统的命名空间创建一个新文件
    3. 元数据节点首先确定文件原来不存在，并且客户单有创建文件的权限，然后创建新文件
    4. distributedFileSystem返回DFSOutputStream，客户端用户写数据
    5. 客户端开始写文件，DFSOutputStream将数据分成块，写入data queue
    6. data streamer将数据块写入pipeline中的第一个数据节点。第一个数据节点将数据块发送给第二个数据节点，第二个数据节点将数据发送给第三个数据节点。
    7. DFSOutputStream为发出的数据块保存了ack queue，等待pipeline的数据节点告知数据已成功写入。
    8. 当客户端结束写入数据，则调用stream的close函数。此函数将所有的数据块写入pipeline中的数据节点，并等待ack queue返回成功。最后通知元数据节点写入完毕。
1.1.4 NameNode目录
  1. 配置文件、配置参数
  2. edits log：文件更新以顺序方式写入磁盘镜像，记录着文件系统曾经的更改，定期校验

current目录参数

  • seen txid，与inprogress一致
  • namespaceID
  • clusterID
  • cTIme
  • storageType
  • blockpoolID
  • layoutVersion
1.1.5 dataNode目录

数据块、数据块.meta（记录该数据块的元数据信息，空间占比大约30%）

1.2 相关指令

从namenode获取的目录内容，显示在datanode上的文件、文件夹信息。下面显示根目录内容

[root@hadoop1 ~]# hdfs dfs -ls /
Found 7 items
drwxr-xr-x   - hbase hbase           0 2015-09-15 14:39 /hyperbase1
drwxr-xr-x   - hbase hbase           0 2015-09-15 14:25 /hyperbase1_hregionindex
drwxr-xr-x   - hdfs  hbase           0 2015-09-14 16:24 /inceptorsql1
drwxrwxrwx   - hdfs  hadoop          0 2015-09-14 16:20 /tmp
drwxr-xr-x   - hdfs  hbase           0 2015-09-15 15:33 /transwarp-health-check-dir
drwxrwxrwx   - hdfs  hadoop          0 2015-09-14 16:29 /user
drwxr-xr-x   - hdfs  hbase           0 2015-09-14 16:20 /yarn1

显示/user文件夹内容。hdfs的某个文件，对应hbase的region、mapReduce的输出结果等 

[root@hadoop1 ~]# hdfs dfs -ls /user
Found 4 items
drwx------   - hive  hive            0 2015-09-14 16:25 /user/hive
drwxr-xr-x   - oozie hadoop          0 2015-09-14 16:29 /user/oozie
drwx------   - root  root            0 2015-09-15 10:59 /user/root
drwx------   - yarn  yarn            0 2015-09-14 16:24 /user/yarn

显示hdfs各节点拓扑（机柜、机架位置信息，为管理员手工配置，可以与真实物理拓扑无 关，用于hdfs的跨机柜、机架复制block使用） 

[root@hadoop1 ~]# su hdfs
bash-4.1$ hdfs dfsadmin -printTopology
Rack: /default-rack
   192.168.180.134:50010 (hadoop1)//第1个节点
   192.168.180.135:50010 (hadoop2)//第2个节点
   192.168.180.136:50010 (hadoop3)//第3个节点
   192.168.180.137:50010 (hadoop4)//第4个节点

显示hdfs管理报告 

bash-4.1$ hdfs dfsadmin -report
Configured Capacity: 1155606609920 (1.05 TB)//配置容量
Present Capacity: 1098917232640 (1023.45 GB)//实际容量
DFS Remaining: 1098537857024 (1023.09 GB)//剩余容量
DFS Used: 379375616 (361.80 MB)//已使用容量
DFS Used%: 0.03%//hdfs空间利用率
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0//丢失的block

-------------------------------------------------
Live datanodes (4)://存活4个datanode

Name: 192.168.180.137:50010 (hadoop4)
Hostname: hadoop4
Decommission Status : Normal
Configured Capacity: 288901652480 (269.06 GB)//配置容量
DFS Used: 55148544 (52.59 MB)//已使用容量
Non DFS Used: 10624794624 (9.90 GB)//非DFS容量
DFS Remaining: 278221709312 (259.11 GB)//剩余容量
DFS Used%: 0.02%//DFS使用率
DFS Remaining%: 96.30%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 10
Last contact: Tue Sep 15 15:43:07 CST 2015


Name: 192.168.180.135:50010 (hadoop2)
Hostname: hadoop2
Decommission Status : Normal
Configured Capacity: 288901652480 (269.06 GB)//配置容量
DFS Used: 102649856 (97.89 MB)//已使用容量
Non DFS Used: 10741223424 (10.00 GB)//非DFS容量
DFS Remaining: 278057779200 (258.96 GB)
DFS Used%: 0.04%
DFS Remaining%: 96.25%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 6
Last contact: Tue Sep 15 15:43:09 CST 2015


Name: 192.168.180.134:50010 (hadoop1)
Hostname: hadoop1
Decommission Status : Normal
Configured Capacity: 288901652480 (269.06 GB)
DFS Used: 125693952 (119.87 MB)
Non DFS Used: 24659619840 (22.97 GB)
DFS Remaining: 264116338688 (245.98 GB)
DFS Used%: 0.04%
DFS Remaining%: 91.42%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 10
Last contact: Tue Sep 15 15:43:09 CST 2015


Name: 192.168.180.136:50010 (hadoop3)
Hostname: hadoop3
Decommission Status : Normal
Configured Capacity: 288901652480 (269.06 GB)
DFS Used: 95883264 (91.44 MB)
Non DFS Used: 10663739392 (9.93 GB)
DFS Remaining: 278142029824 (259.04 GB)
DFS Used%: 0.03%
DFS Remaining%: 96.28%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 12
Last contact: Tue Sep 15 15:43:07 CST 2015


大数据系列——什么是hdfs？hdfs用来干什么的？
奋斗的阿杰的博客
03-09 950
hdfs的讲解
HDFS 数据压缩技术：节省存储空间与提升性能
AI天才研究院
05-06 1096
在当今大数据时代，数据量呈现爆炸式增长。HDFS（Hadoop Distributed File System）作为 Hadoop 生态系统中重要的分布式文件系统，用于存储海量数据。随着数据的不断积累，存储成本成为企业面临的重要挑战之一。数据压缩技术作为一种有效的手段，可以显著减少数据在存储时所占用的空间，从而降低存储成本。同时，合理的数据压缩还可以提升数据传输和处理的性能。本文的范围涵盖了 HDFS 中常用的数据压缩技术，包括不同压缩算法的原理、实现步骤、性能分析以及实际应用场景等方面。
大数据技术分析：HDFS分布式系统介绍！
weixin_34192732的博客
02-15 357
HDFS主要用于最初由Yahoo提出的分布式文件系统，以下它的主要用途： 1、保存大数据 2、提供快速读取大数据的能力 Heroop帧的主要特征是通过将数据和计算分布在集群中的各节点服务器来实现分布式计算的目的。在计算逻辑和所需数据接近这一点上，并行计算分区后进行汇总。 基本模块 HDFS：分布式文件系统(by Yahoo) Mpredues：分布式计算帧(by Google) HBCD：分布式...
大数据-3：HDFS详解
Fancyll_Lee的博客
09-24 607
文章目录1. 简介2. 工作机制：2.1 数据存储：2.2 读取数据2.3 容错 1. 简介 HDFS属于Master与Slave架构，一个集群中只有一个Namenode，可以有多个Datanode HDFS存储机制保存了多个副本，当写入1T文件时，我们需要3T的存储，3T的网络流量带宽；系统提供容错机制，副本丢失或宕机可自动恢复，保证系统高可用性 HDFS默认会将文件分割成block，然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中，如果小文件太多，会导致内存的负担很重 HDFS采用
大数据之HDFS
大数据同盟会的博客
05-27 976
HDFS
大数据(hadoop-HDFS原理分析)
weixin_34004750的博客
04-17 501
2019独角兽企业重金招聘Python工程师标准>>> ...
数据运营实战：从0到1构建大数据分析体系
欢迎来到我的优快云空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
09-24 1079
关键词：对齐业务目标、避免“数据贪食症”很多数据团队的悲剧从“需求调研”开始：业务方说“我要所有用户数据”，数据团队加班加点把数据全导出来，结果业务方看了一眼说“这不是我要的”。没有把“业务问题”转化为“可衡量的数据指标”。避免“数据贪食症”：不要满足“我要所有数据”的需求，只收集“能解决业务问题”的数据；建立“需求评审机制”：业务方提需求时，必须填写《数据需求表》（包含：业务目标、问题描述、所需指标、交付时间），避免口头需求；定期复盘需求。
浅析基于Spark技术的网络安全大数据分析平台.pdf
09-20
基于Spark技术的网络安全大数据分析平台是一种先进的解决方案，它能够高效地处理海量数据，快速发现网络威胁，并为安全防护提供有力支持。本文将深入探讨Spark技术在网络安全领域的应用，以及如何构建这样的分析平台...
81、数据挖掘与制造业大数据分析应用
vv45678的博客
08-12 35
本博文深入探讨了数据挖掘中的关联规则应用，并结合制造业大数据分析的实际案例（Farplas汽车公司），详细阐述了从数据摄取、转换存储、分析到数据可视化的全流程。内容涵盖FP增长算法在常绿数据趋势分析中的作用、制造业大数据需求背景、数据处理工具与技术选型、多种数据分析方法的对比与应用场景，以及数据可视化在辅助企业决策中的价值。同时，对制造业大数据分析的未来发展进行了展望。
大数据领域 HDFS 的数据清理与归档策略
最新发布
小白菜的博客
10-29 337
找常用的玩具要翻半天（性能下降箱子装不下新玩具（存储容量不足有些玩具早就坏了/不玩了，还占着地方（成本浪费HDFS面临的问题和这一模一样！作为Hadoop生态的核心存储系统，它负责存储日志、传感器数据、交易记录等海量数据。存储成本高：HDFS默认用“多副本”（通常3份）存储所有数据，不管数据是否常用，都占用高性能磁盘（比如SSD），成本极高；元数据压力大：HDFS的NameNode存储所有文件的元数据（路径、大小、权限等），如果有上亿个小文件，NameNode会因内存不足崩溃；性能下降。
HDFS原理分析（一）
辉哥大数据
03-14 1347
DFS是Hadoop Distribute File System 的简称，也就是Hadoop的一个分布式文件系统。一、HDFS的主要设计理念1、存储超大文件这里的“超大文件”是指几百MB、GB甚至TB级别的文件。 2、最高效的访问模式是 一次写入、多次读取(流式数据访问)HDFS存储的数据集作为hadoop的分析对象。在数据集生成后，长时间在此数据集上进行各种分析。每次分析都将设计该数据集的大部分
学习Hadoop——HDFS 文件系统管理细说
y805805的博客
01-06 2230
HDFS 有着高容错的特点，被设计用来部署在低廉的硬件上，它能够提供高吞吐量来访问应用程序·的数据，适合那些有着超大数据集的应用程序。为了做到可靠性，HDFS创建了多份数据块的副本，并将它们放置在服务器的群的计算节点中，Mapreduce 可以在它们所在的节点上处理这些数据。 HDFS 的缺点与不足： 运维成本：如果采用" 一个框架，一个集群” 的模式，则可以需要多个管理员管理这些集群，进而...
hadoop的Configured Capacity和DFS Remaining变成0的解决办法
走走看看
09-13 5354
Configured Capacity: 0 Configured Remote Capacity: 0 B DFS Used: 0 KB (0%) Non DFS Used: 0 GB DFS Remaining: 0 GB (0%) Block Pool Used: 0 KB (0%) DataNodes usages% (Min/M...
如何解决Hadoop集群环境下DataNode无法连接NameNode问题
Bob Liu的程序人生
09-22 9151
本文总结了在Hadoop集群环境下，DataNode无法连接NameNode的问题：2017-02-13 05:43:01,540 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master-vm/10.220.33.37:9000，重点在于问题的排除思路和方法。该问题出现的运行环境为Ubuntu 16.05 TLS, Hadoop 2.7.3环境下。
Hbase总结（六）hbase37个笔试题
热门推荐
Java海洋
10-10 4万+
以下试题是摘自互联网的基础上自己加了选项说明解释便于自己以后看时方便节省时间 1. HBase来源于哪篇博文？ C A The Google File System B MapReduce C BigTable D Chubby 2. 下面对HBase的描述哪些是正确的？ B、C、D A 不是开源的 B 是面向列的 C 是分布式
hadoop fsck命令详解
qq_654603797
03-19 814
hadoopfsck用这个命令可以检查文件系统的健康状况。 Usage: DFSck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] <path>检查这个目录中的文件是否完整 -move破损的文件移至/lost+found目录 -delete...
大数据HDFS总结
缤纷彩虹天地
10-09 1157
HDFS： HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储文件。 HDFS Block： HDFS上的文件被划分为块大小的多个分块，作为独立的存储单元，称为数据块。 HDFS的三个节点： Namenode：用来管理HDFS的元数据。 Datanode：文件系统的工作节点，负责存储元数据。 Secondary Nameno...
hadoop2.7.0集群，使用中遇到的bug及解决办法
weixin_33787529的博客
09-28 938
为什么80%的码农都做不了架构师？>>> ...
电影评分的大数据分析
06-17
<think>我们正在讨论如何使用大数据技术分析电影评分数据。根据引用内容，我们可以构建一个分析流程。主要步骤包括数据收集、数据预处理、数据分析和可视化。首先，数据收集通常通过爬虫从网站（如豆瓣）获取，包括电影名称、类型、导演、演员、评分等信息（引用[1][2]）。然后，进行数据清洗和预处理，如去重、填充缺失值、文本编码等（引用[1]）。接下来，使用大数据处理框架（如Spark）进行数据分析（引用[3]）。分析可以包括：1.计算电影平均评分并排序（如Top10电影）。2.按类型、导演、演员等维度分析评分分布。3.分析评分随时间的变化趋势。4.用户评论的情感分析（引用[2]）。最后，将结果保存到数据库（如MySQL）或文件（如CSV），并通过可视化工具展示（引用[2][3]）。现在，我们可以使用Spark（PythonAPI）来实现一个简单的评分分析示例：计算Top10电影（按平均评分）。步骤：1.读取数据（假设数据格式：movieId,title,userId,rating,timestamp）。2.按电影ID分组计算平均评分。3.按平均评分降序排序，取前10名。以下是示例代码：</think>### 如何使用大数据技术分析电影评分数据 #### 1. **数据采集与清洗** - **数据来源**：通过爬虫技术从豆瓣、IMDb等平台获取结构化数据（电影ID、名称、类型、导演、评分）和非结构化数据（用户评论）[^1][^2] - **清洗步骤**： - 处理缺失值：对缺失评分使用平均分填充 - 去重处理：删除重复的用户评分记录 - 异常值处理：过滤评分范围外的异常值（如$>5$或$<0$分） - 文本处理：对评论进行分词和情感分析[^2] #### 2. **数据存储与管理** - **存储方案**： ```mermaid graph LR A[原始数据] --> B{HDFS分布式存储} B --> C[Spark预处理] C --> D[(Hive数据仓库)] D --> E[MySQL结果表] ``` - **技术栈**： - 分布式存储：HDFS - 数据处理：Spark/PySpark - 结构化存储：MySQL/HBase[^3] #### 3. **核心分析方法** 1. **基础统计分析**： - 计算全局平均分：$\bar{R} = \frac{1}{n}\sum_{i=1}^{n} r_i$ - 按维度分组统计： ```python # Spark SQL示例 df.groupBy("genre").agg(avg("rating").alias("avg_rating")) ``` 2. **时间序列分析**： - 评分随时间变化趋势： $$ R_t = \alpha R_{t-1} + (1-\alpha)r_t $$ - 节假日效应分析（如春节档评分波动） 3. **关联规则挖掘**： - 导演-演员组合评分矩阵： | 导演\演员 | 演员A | 演员B | |-----------|-------|-------| | 导演X | 8.2 | 7.6 | | 导演Y | 7.9 | 8.4 | 4. **情感分析**（NLP）： - 评论情感分：$S_{sent} = \frac{P_{pos} - P_{neg}}{P_{total}}$ - 生成评论文本词云[^2] #### 4. **可视化呈现** - **多维分析仪表盘**： - 地理热力图：区域评分分布 - 类型雷达图：$\{动作, 喜剧, 剧情...\}$ 维度评分 - 时间折线图：年度评分趋势 - **交互式查询**： ```sql SELECT title, AVG(rating) FROM movie_ratings WHERE year > 2020 GROUP BY title HAVING COUNT(*) > 1000 ``` #### 5. **技术实现示例** ```python from pyspark.sql import SparkSession spark = SparkSession.builder.appName("MovieAnalysis").getOrCreate() # 读取数据 df = spark.read.csv("hdfs://movie_ratings.csv", header=True) # 计算Top10电影（引用[3]方法） top10 = df.groupBy("movie_id", "title") \ .agg(avg("rating").alias("avg_rating"), count("*").alias("review_count")) \ .filter("review_count > 1000") \ .orderBy(desc("avg_rating")) \ .limit(10) # 存储结果到MySQL top10.write.format("jdbc") \ .option("url", "jdbc:mysql://db_host/db_name") \ .option("dbtable", "top10_movies") \ .option("user", "user") \ .option("password", "pass") \ .save() ``` #### 6. **应用场景** 1. **个性化推荐**：基于用户评分矩阵$U_{m×n}$的协同过滤 2. **市场预测**：通过历史评分预测新片票房 3. **制片优化**：分析高评分电影的共性特征（如剧本结构$P_{plot}$、特效占比$R_{sfx}$）
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值