HDFS集中式缓存管理（Centralized Cache Management）

最新推荐文章于 2025-10-15 01:54:42 发布
原创 最新推荐文章于 2025-10-15 01:54:42 发布 · 3.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

HDFS从2.3.0版本引入了缓存机制，由NameNode集中管理DataNode的内存缓存，提升数据读取效率。缓存管理能防止常用数据被清除，提高内存利用率，并通过zero-copy读API加速读取。适用于频繁访问的文件，如Hive的fact表，有助于提升混合作业的SLA性能。

Hadoop从2.3.0版本开始支持HDFS缓存机制，HDFS允许用户将一部分目录或文件缓存在HDFS当中，NameNode会通知拥有对应块的DataNodes将其缓存在DataNode的内存当中

集中式缓存管理有着许多显著的优势：

  1. 防止那些被频繁使用的数据从内存中清除
  2. 因为
最低0.47元/天 解锁文章
hadoop 2.6 源码 解读之 HDFS小结
zhixingheyi_tian的博客
04-28 331
HDFS 文件 是 write-once-read-many ，不支持客户端的并行写操作。 租约（lease）机制保证了HDFS文件的互斥操作。 客户端写HDFS文件时，先从租约管理器（LeaseManager）申请一个租约，成为租约持有者，也就有了对该HDFS文件的独占权限 Hadoop 2.3 以上，新增了centralized Cache Management，允许用户将一些文件目...
HDFS集中式缓存
06-04
DFS中的集中化缓存管理是一个明确的缓存机制，它允许用户指定要缓存的HDFS路径。NameNode会和保存着所需快数据的所有DataNode通信，并指导他们把块数据缓存在off-heap缓存中
【高并发内存池】第三篇：CentralCache初步设计
m0_51064412的博客
04-07 1043
文章目录一. CentralCache介绍二. CentralCache相关结构介绍1. 管理一个大块跨度内存的span类2. 管理Span的SpanList类 一. CentralCache介绍 中心缓存是所有线程所共享的，ThreadCache按需从CentralCache中获取对象，另外CentralCache合适的时机回收ThreadCache中多余不用的的对象，避免一个线程占用了太多的内存，而其它线程的内存吃紧情况，达到内存分配在多个线程中更均衡的按需调度的目的。CentralCache是存在竞争
高并发内存池（四）：手把手搭建CentralCache中心缓存
yue_2899799318的博客
09-27 1066
摘要： CentralCache是高并发内存池中的中央缓存组件，位于ThreadCache和PageCache之间，采用哈希桶结构管理不同大小的内存块。其主要功能包括协调线程缓存的内存申请与释放、减少内存碎片、提高内存利用率。CentralCache通过单例模式实现多线程共享，采用桶锁设计优化并发性能。核心数据结构Span管理连续内存页，SpanList组织多个Span以应对大内存需求。当ThreadCache内存不足时，通过FetchRangeObj和GetOneSpan接口从CentralCache批量
central cache设计及实现
安然无虞的博客
02-16 1503
span 是管理以页为单位的大块内存.// Span 管理一个以页为单位的大块内存 struct Span {// 大块内存起始页的页号 size_t _n = 0;// 页的数量 Span * _prev = nullptr;// 双向链表的结构 Span * _next = nullptr;// 切好的小块内存的自由链表 };
HDFS集中式的缓存管理原理与代码剖析
qiruiduni的专栏
08-27 769
Hadoop 2.3.0已经发布了，其中最大的亮点就是集中式的缓存管理(HDFS centralized cache management)。这个功能对于提升Hadoop系统和上层应用的执行效率与实时性有很大帮助，本文从原理、架构和代码剖析三个角度来探讨这一功能。 主要解决了哪些问题 用户可以根据自己的逻辑指定一些经常被使用的数据或者高优先级任务对应的数据，让他们常驻内存而不被
HDFS中的集中缓存(Centralized Cache Management in HDFS)
ColZer的专栏
04-30 5659
集中缓存有两层概念： 第一层是缓存，即为存储在HDFS中文件提供缓存的机制，从而可以加速DFSClient对文件的读操作；第二层概念是集中式的管理，传统的HDFS缓存依赖了OS本身的缓存机制，但是这种缓存机制不能被管理员或中央节点进行管理，不能自由的控制哪些文件缓存，哪些文件不进行缓存；集中式的管理可以提高了对缓存内存的可控性； HDFS中集中缓存架构如下所示： User
hdfs Cache Used%: 100.00%
06-26
当 HDFS 集群配置了集中式缓存管理（Centralized Cache Management），某些文件或目录被显式地锁定在内存中，用于加速访问速度[^2]。 ### 原因分析 1. **缓存锁定机制** HDFS 允许通过 `hdfs cacheadmin` 命令将...
HDFS源码--ClientProtocol接口与FileSystem API 、 dfsadmin命令参数、快照操作、缓存操作的对应关系
weixin_44976835的博客
08-30 928
FileSystem API与ClientProtocol接口的对应关系 Hadoop FileSystem操作 ClientProtocol对应的接口 描述 FileSystem.rename2() rename2() 更改文件/目录名称 FileSystem.concat concat() 将两个已有文件拼接成一个 FileSystem.delete() delete() 从文件系统中删除指定文件或目录 FileSystem.mkdirs() mkdirs() 以指定名称和权
大数据领域数据架构的缓存策略优化
最新发布
Java大师兄的博客
10-15 309
[大数据缓存架构示意图：多层缓存系统协同工作的可视化展示]
Centralized Cache Management in HDFS
来啊 快活啊
08-21 2507
Centralized Cache Management inHDFS Overview HDFS中的集中式缓存管理是一个显式的管理缓存的机制，它允许用户指定被HDFS缓存的路径。NameNode将与磁盘上有所需的Block的DataNode通信，命令其在堆外缓存里缓存Block。 HDFS中的集中式缓存管理有许多重要的优势。 1.明确地防止频繁使用的数据被赶出内存。当工作集的
hadoop集中式缓存管理
波哥在路上
12-19 553
简介 hdfs中的集中式缓存管理是一种显式缓存机制，允许用户指定hdfs要缓存的路径。namenode将与磁盘上具有所需块的数据节点通信，并指示它们将块缓存在堆外缓存中。 hdfs中的集中式缓存管理具有许多显著的优点。 显式固定可防止经常使用的数据从内存中逐出。当工作集的大小超过主内存的大小时，这一点尤其重要，这在许多hdfs工作负载中是常见的。 由于datanode缓存由namenode管理，...
集中式内存缓存 Guava Cache
weixin_34318272的博客
09-08 232
背景 缓存的主要作用是暂时在内存中保存业务系统的数据处理结果，并且等待下次访问使用。在日长开发有很多场合，有一些数据量不是很大，不会经常改动，并且访问非常频繁。但是由于受限于硬盘IO的性能或者远程网络等原因获取可能非常的费时。会导致我们的程序非常缓慢，这在某些业务上是不能忍的！而缓存正是解决这类问题的神器！ 当然也并不是说你用了缓存你的...
hdfs 的集中式缓存
疯狂的矩阵
03-05 343
[color=red]集中缓存有两层概念：[/color] 第一层是缓存，即为存储在HDFS中文件提供缓存的机制，从而可以加速DFSClient对文件的读操作； 第二层概念是集中式的管理，传统的HDFS缓存依赖了OS本身的缓存机制，但是这种缓存机制不能被管理员或中央节点进行管理，不能自由的控制哪些文件缓存，哪些文件不进行缓存；集中式的管理可以提高了对缓存内存的可控性； [color=red]...
集中式缓存
wanf425的专栏
07-07 2462
这篇文章我们继续聊聊《深入分布式缓存：从原理到实践》中关于集中式缓存的部分。 集中式缓存的基本概念，我在前面的文章 本地缓存 中已经有过介绍，相对于本地缓存，集中式缓存主要有以下几个优点： 保证缓存数据的一致性。集中式缓存的数据是集中管理的，这样就能保证所有应用服务器取到的数据时一致的。 更方便的数据扩容。当缓存数据过多需要扩容时，可以对缓存服务器进行水平扩展。 应对单点故障。如果采用分布式...
【Hadoop学习】HDFS中的集中化缓存管理
weixin_30376163的博客
12-05 240
Hadoop版本：2.6.0 本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接： http://www.cnblogs.com/zhangningbo/p/4146398.html 概述 HDFS中的集中化缓存管理是一个明确的缓存机制，它允许用户指定要缓存的HDFS路径。NameNode会和保存着所需快数据的所有DataNode通信，并指导他们把块数据缓存在of...
HDFS中的集中缓存管理详解
weixin_30307267的博客
02-15 460
一、背景 Hadoop设计之初借鉴GFS/MapReduce的思想：移动计算的成本远小于移动数据的成本。所以调度通常会尽可能将计算移动到拥有数据的节点上，在作业执行过程中，从HDFS角度看，计算和数据通常是同一个DataNode节点，即存在大量的本地读写。 但是HDFS最初实现时，并没有区分本地读和远程读，二者的实现方式完全一样，都是先由DataNode读取数据，然后通过DFSClient与D...
中心缓存：CentralCache
weixin_36145588的博客
07-24 1552
1.CentralCache的实现 定义： static CentralFreeListPadded central_cache_[kNumClasses]; 每个数组元素对应一种size class的分配请求 上述数组中每个元素，即CentralFreeList结构，只不过CentralFreeListPadded是CentralFreeList的一种对齐实现。 结构图如下：2.CentralF
Hadoop浅解Centralized Cache Management（集中式缓存管理）
Nobigo
02-26 726
HDFS集中式缓存管理概观HDFS的集中化缓存管理是一个明确的缓存机制，它可以将用户指定的HDFS路径进行缓存。NameNode会和保存着所需快数据的所有DataNode进行通信，并指导他们把块数据缓存在off-heap缓存中。HDFS上的集中式缓存管理具有明显的优势： 1. 明确的锁定可以阻止频繁使用的数据被从内存中清除。当数据集的大小超过了主内存大小（这种情况对于许多HDFS负载都是司空见惯的
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值