hadoop的三个基本功能和存储原理

原创 已于 2022-06-09 21:03:05 修改 · 287 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs #big data

于 2022-06-09 20:53:28 首次发布
本文档提供了Hadoop集群的验证步骤，包括HDFS和YARN页面的访问链接，以及一些常用命令如hadoopfs-ls、hdfsdfs-put和权限设置等。此外，还分享了两个关于Hadoop集群安装的详细教程链接，帮助读者了解HDFS文件在集群中的存储位置。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

一、验证

hdfs页面验证

http://hadoop01:50070/

yarn页面验证

 http://hadoop01:8088/ 

常用命令

hadoop fs -ls

./bin/hdfs dfs -put example.file

hdfs dfs -setfacl -R -m user:zzz:r-x filepath

 hadoop fs -getfacl filepath

二、链接

Hadoop 集群安装详细步骤（2022.4.4）亲测有效_程序员小明。的博客-优快云博客_hadoop集群安装
Hadoop中HDFS的文件到底存储在集群节点本地文件系统哪里_YuanOo。的博客-优快云博客_hdfs文件存储在哪里
 

vicky_arg
关注
Hadoop的存储策略
m0_43405302的博客
02-05 1590
Hadoop的存储策略 策略 ID 策略名称 块分布 creationFallbacks replicationFallbacks 15 Lazy_Persist RAM_DISK: 1, DISK: n-1 DISK DISK 12 All_SSD SSD: n DISK DISK 10 One_SSD SSD: 1, DISK: n-1 SSD, DISK SSD, DISK 7 Hot (default) DISK: n < none > ARCHIVE 5
HDFS简介及其功能
热门推荐
qq_40784783的博客
01-19 3万+
HDFS教程在这个HDFS教程博客中继续前进之前，让我带您介绍一些与HDFS相关的疯狂统计信息：Facebook在2010年声称拥有存储21 PB数据的最大HDFS集群之一。在2012年，Facebook宣布他们拥有最大的单个HDFS集群，数据量超过100 PB 。和雅虎！在运行Hadoop的40,000多台服务器上拥有超过100,000个CPU，其最大的Hadoop集群运行4,500个节点。总而
hadoop存储与分析
敲代码的彭于晏
08-05 1948
Apache Hadoop ##　背景 随着信息化互联网|物联网发展要求，万物互联趋势势在必行。随之引发架构的演变由单一架构向高并发分布式架构演变。数据的存储也开始由原始的单机存储演变为分布式存储。 JavaWeb：为了应对高并发和分布式提出的是LNMP ：(Linux、Nginx、MySQL、PHP )思想。 海量数据存储|数据分析 ：存储方案（HDFS）、计算方案（Map Reduce、Storm、Spark、Flink） 大数据背景 分布式：服务间出现跨机器、跨进程通信同一称为分布式
Hadoop三大组件的工作原理
骑着居居追飞机的博客
10-11 2581
HDFS是Hadoop的核心存储组件，它被设计用于在大规模集群上存储和管理海量数据，具有高容错性、高可靠性和高可扩展性等特点。MapReduce是一种用于大规模数据集并行处理的编程模型和计算框架。它将复杂的数据分析任务分解为两个阶段：Map阶段和Reduce阶段，通过分布式计算的方式在集群上高效处理数据。
【Hadoop】-HDFS的存储原理[4]
weixin_63106307的博客
04-20 1802
HDFS的存储原理是将大文件切分成固定大小的数据块，并在集群中的不同节点上存储数据块的，以提高数据的可靠性和性能。同时，HDFS采用流式的数据读写方式，减少了寻址的开销，提高了数据的传输效率。
Hadoop-005-HDFS分布式文件存储原理
加贝的博客
11-01 1653
HDFS的数据存储原理和读写流程
Hadoop三大核心组件，hadoop原理
weixin_48114253的博客
06-18 1626
Hadoop的三大核心组件分别是： HDFS（Hadoop Distribute File System）：hadoop的数据存储工具。 YARN（Yet Another Resource Negotiator,另一种资源协调者）：Hadoop 的资源管理器。 Hadoop MapReduce 分布式计算框架 一.HDFS 1.HDFS概述 HDFS是google三大论文之一的GFS的开源实现，是一个高度容错性的系统，适合部署在廉价的机器上的，适合存储海量数据的分布式文件系统。 在HDFS中，
Hadoop(一) 原理简介、基本构建
Jelly
08-26 5502
了解Hadoop的基本架构和工作原理，在linux上实现三种运行模式
hadoop三种安装模式的基本原理
人生是一场修行
09-07 4126
Hadoop的安装详情查看本博客本专栏内其它文章 一、三种安装模式的运行原理: 1.单机模式：Hadoop默认模式、即非分布式模式(本地模式)、无需进行其他配置即可运行非分布式，即java单进程，方便进行调试。 2.伪分布式模式： Hadoop在单节点上以伪分布式的方式运行，Hadoop进程以分离的java进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是HDFS中的文件...
Hadoop 基础原理
sekever的博客
02-17 1939
Hadoop 主要解决了海量数据的存储问题高可用性：底层会维护多个数据副本，所以即使 Hadoop 某个计算元素或存储出现故障，也不会导致数据的丢失。高扩展性： 在集群间分配任务数据，可方便的扩展数以千计的节点。高效性： 在 MapReduce 的思想下，Hadoop 是并行工作的，以加快任务处理速度。高容错性： 能够自动将失败的任务重新分配。一个 block 块在 NameNode 中占150byte（固定），过多小文件会占用 NameNode 内存小文件的寻址时间大于读取时间。
Hadoop学习文档笔记，基本原理 HDFS
10-22
默认情况下，每个数据块大小为128MB，且通常会有三个副本，分布在不同的机架上，以提高数据读取效率和网络容错性。 在HDFS中，有两种主要的节点类型：NameNode和DataNode。NameNode是HDFS的元数据管理节点，负责...
基于Hadoop的图书馆复合大数据存储系统研究.docx
05-15
通过对Hadoop技术原理及其在大数据存储中的应用进行深入探讨，并结合图书馆的实际需求设计合理的系统架构和技术方案，不仅能够有效解决图书馆面临的海量数据管理难题，还能进一步推动图书馆信息服务的智能化转型。...
Hadoop、Spark和Hive调优优化原理
AI天才研究院
08-03 1384
1995年伊藤博文等人提出了MapReduce计算框架，将海量的数据分布式地处理在多台计算机上，并通过分割输入数据集并将其划分为多个任务来并行执行计算，最后合并结果得到整体输出。然而随着互联网和大数据的普及以及处理器性能的提升，当时的技术已经远远超过了当时能够想象的范围。这段时间MapReduce计算框架已经成为一个主流的开源计算框架，包括Hadoop、Pig、Hive、Mahout、Storm等。
《Hadoop》"呶呶不休"（三）HDFS的存储原理
从明老师的博客
01-14 2208
一、数据块的冗余 为了保证系统的容错性和可用性，hdfs采用了多副本方式对数据块进行冗余存储，也就是一个数据块的多个副本会被分布到不同的Datanode上，存储在Datanode的本地文件系统中。 这种多副本的存储方式有以下优点： 1）加快数据传输速度。当多个客户端需要同时访问同一个文件时，这些客户端可以从不同的数据块副本中读取数据，大大提高了数据的传输速度。2）容易检查数据错误。HDFS...
Hive基于Hadoop的数据仓库工具
usa_washington的博客
11-24 244
可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，将 SQL 语句转换为 MapReduce/Tez/Spark 任务运行。企业级数据仓库（EDW）数据湖查询引擎历史数据分析数据清洗和转换数据格式转换数据质量检查每日/每周/月度报表用户行为分析业务指标计算数据科学家进行数据探索即席查询分析。
第三章 布局
beyond谚语的博客
11-08 1048
WPF 用不同的容器(container)安排布局。每个容器有各自的布局逻辑——有些容器以堆栈方式布置元素，另一些容器在网格中不可见的单元格中排列元素，等等。在 WPF 中非常抵制基于坐标的布局，而是注重创建更灵活的布局，使布局能够适应内容的变化、不同的语言以及名种窗口尺寸。
Lua非空判断方法[源码]
11-24
本文详细介绍了在Lua中进行非空判断的几种方法，特别是针对table类型的变量。首先，文章指出了直接对nil值进行索引会导致异常的问题，并给出了一个简单的例子来说明如何避免这种情况。接着，文章讨论了如何判断一个table是否为空，指出不能简单地使用`#table == 0`的方式，而是应该使用`next(t) == nil`的方法。此外，文章还提到了`next`指令在LuaJIT中的优化问题，建议在非必要情况下少用。最后，文章简要介绍了如何判断一个字符串是否全部由空格组成，使用了正则匹配的方法。这些内容对于Lua开发者来说非常实用，能够帮助他们避免常见的错误。
JS表格转Excel实现[可运行源码]
最新发布
11-24
该文章详细介绍了如何使用JavaScript将HTML表格数据导出为Excel文件。内容涵盖了针对不同浏览器的兼容性处理，包括IE和非IE浏览器的不同实现方式。对于IE浏览器，使用ActiveXObject进行导出；对于非IE浏览器，则通过base64编码和数据URI方案实现。文章还提供了完整的代码示例，包括表格数据的处理、格式化和导出功能，支持文本和图片类型的数据导出。
图片转bin文件存储[项目代码]
11-24
本文介绍了在OpenCV项目中如何将大量图片数据转换为二进制（bin）文件进行高效存储和读取的方法。作者在项目中遇到需要处理大量图片数据的问题，尝试了多种格式（如.mat、.txt、.yml）后发现效率较低。通过使用二进制文件存储，显著提升了读写速度。文章详细展示了使用OpenCV将图片写入二进制文件的代码示例，以及从二进制文件读取图片数据的实现方法。虽然该方法需要提前知道图片的尺寸和数量，但读写速度极快，适合处理大量图片数据。作者还提到可以通过换行符或终止符优化读取过程，但未深入探讨。
Hadoop基本原理
03-18
### Hadoop 的基本工作原理及架构 Hadoop 是一种用于大规模数据处理的开源框架，其核心由两个主要组件构成：Hadoop 分布式文件系统 (HDFS) 和 MapReduce 计算引擎。以下是关于 Hadoop 工作原理及其架构的具体描述。 #### 1. **Hadoop 架构概述** Hadoop 提供了一种基于分布式系统的解决方案，能够利用廉价硬件集群来完成对海量数据的高效存储和分析[^2]。它通过将任务分解到多个节点上运行的方式实现了高并发性和可扩展性。 #### 2. **HDFS（Hadoop Distributed File System）** HDFS 是 Hadoop 中负责数据存储的核心模块。它的设计目标是在低成本的商品化服务器上提供可靠的数据存储能力。具体来说： - 数据会被分割成固定大小的块，默认情况下每一块为 128MB 或更大。 - 这些数据块会被复制多份（通常为三份），并分布在整个集群中的不同 DataNode 上以提高可靠性[^4]。 - NameNode 负责管理整个文件系统的元数据信息，包括哪些文件对应哪些数据块以及它们存储在哪几个 DataNode 上。 #### 3. **MapReduce 编程模型** MapReduce 是 Hadoop 所采用的一种编程范式，专门用来解决如何在大量机器组成的集群环境中有效地执行复杂运算的问题[^1]。此过程分为两步： - **Map 阶段**: 输入数据被分成若干个小片段分发至各个 Worker Node，在这里每个 worker node 对自己的那部分输入独立地应用 map 函数生成中间键值对集合。 - **Shuffle & Sort 阶段**: 将来自所有 Mapper 输出的结果按照 key 值重新整理排序后发送给对应的 Reducer 实体。 - **Reduce 阶段**: 接收到经过 shuffle 后的数据之后，Reducer 开始对其实施 reduce 操作最终得出全局汇总结果并将之保存回 HDFS 文件系统之中[^5]。 #### 4. **YARN（Yet Another Resource Negotiator）资源调度器** 随着版本迭代更新，为了更好地支持多样化的应用程序需求，引入了 YARN 组件替代原有的单一 JobTracker 设计模式。YARN 主要承担着两大职责——统一管理和分配全集群范围内的计算资源；协调各类不同类型的任务请求之间的竞争关系从而保障整体性能最优。 --- ```python from hadoop import hdfs_client, yarn_scheduler def upload_data_to_hdfs(file_path): client = hdfs_client() try: with open(file_path, 'rb') as file: data = file.read() response = client.write(data) return f"File uploaded successfully! {response}" except Exception as e: return str(e) def submit_job(job_config): scheduler = yarn_scheduler() job_id = scheduler.submit(job_config) return job_id ``` 上述代码展示了如何使用 Python API 来上传文件到 HDFS 并提交作业到 YARN。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值