
hadoop
文章平均质量分 96
有条小狗它叫做Luka
干中学,事上练
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据技术之Hadoop(YARN)
Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的Hadoop资源管理器。YARN是一个通用资源管理系统和调度平台,可为上层应用提供统一的资源管理和调度。它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。原创 2024-08-05 15:47:55 · 2099 阅读 · 0 评论 -
大数据技术之Hadoop(MapReduce)
分布式计算是一种计算方法,和集中式计算是相对的。Hadoop MapReduce是一个分布式计算框架,用于轻松编写分布式应用程序,这些应用程序以可靠,容错的方式并行处理大型硬件集群(数千个节点)上的大量数据(多TB数据集)。MapReduce是一种面向海量数据处理的一种指导思想,也是一种用于对大规模数据进行分布式计算的编程模型。原创 2024-07-29 10:37:23 · 2348 阅读 · 0 评论 -
大数据技术之Hadoop(HDFS)
文件系统是一种存储和组织数据的方法,实现了数据的存储、分级组织、访问和获取等操作,使得用户对文件访问和查找变得容易;文件系统使用树形目录的抽象逻辑概念代替了硬盘等物理设备使用数据块的概念,用户不必关心数据底层存在硬盘哪里,只需要记住这个文件的所属目录和文件名即可;比如windows操作系统数据:指存储的内容本身,比如文件、视频、图片等元数据:又称之为解释性数据,记录数据的数据;一般指文件大小、最后修改时间、底层存储位置、属性、所属用户、权限等信息。Hadoop分布式文件系统。原创 2024-07-22 09:41:58 · 3595 阅读 · 0 评论