HDFS-Tiering 数据分层存储

hdfs 数据迁移_HDFS-Tiering 数据分层存储 1. 背景随着小米业务迅猛发展,存储到 HDFS 集群的数据量不断增大,存储成本也不断攀升。尤其是海外 HDFS 集群每 GB 数据的成本是国内集群的 10 倍左右,如何优化海外集群的存储成本变得非常迫切。海外 HDFS 集群主要采用云主机挂载 EBS 的方式搭建,EBS 是成本的大头。但 EBS 可靠性高,性能优良,又是业务正常运行的保障。经过我们对 HDFS 元数据信息的分析,以印度离线集群为... 阅读详情

1. 背景

随着小米业务迅猛发展,存储到 HDFS 集群的数据量不断增大,存储成本也不断攀升。尤其是海外 HDFS 集群每 GB 数据的成本是国内集群的 10 倍左右,如何优化海外集群的存储成本变得非常迫切。海外 HDFS 集群主要采用云主机挂载 EBS 的方式搭建,EBS 是成本的大头。但 EBS 可靠性高,性能优良,又是业务正常运行的保障。

经过我们对 HDFS 元数据信息的分析,以印度离线集群为例,发现半年以上没有访问的冷数据大约占 25% 左右。这些数据存储在高性能高成本的 EBS 上是一种浪费,是否可能把这部分冷数据存储到更便宜的存储介质上?答案是肯定的。

Amazon S3(0.021/GB.月)的单价不到EBS(0.051/GB.月)的单价不到 EBS(0.051/GB.月)的单价不到EBS(0.051/GB.月)的一半,可靠性高,但访问速度慢,在我们测试环境里,挂载 S3 的盘读写速度只有 40MB/s 左右,只有 EBS 的 1/5。但考虑到冷数据的读写频率比较低,存储到 S3 上是可行的,这样冷数据的存储成本可以下降一半多。依赖 S3 自身 11 个 9 的持久性,我们可以只保存一个副本,这样对原来三备份的冷数据的成本可降低到 1/6。同样,对于国内的集群,也有性能稍差但价格便宜的高密度机型可以选择,可以采用同样的方案来保存冷数据。

经过调研和分析,在上层应用无感知、HDFS 集群系统性能无明显下降的前提下,为降低存储成本,我们需要把数据按冷热进行分层管理,不同类型的数据存储到不同的存储介质上。

HDFS 社区版是支持数据分层存储的,可把不同的存储介质设置成不同的存储类型(Storage Types),支持的存储类型有5种:RAM_DISK、SSD、DISK、ARCHIVE、PROVIDED。把不同的数据设置成不同的存储策略(Storage Policies),支持的策略有7种:Hot、Warm、Cold、All_SSD、One_SSD、Lazy_Persist、Provided。默认 Storage Policies 是 Hot,可通过系统命令或者 API 改变数据的属性。

但 HDFS 社区版存在以下问题:

  • 对存量数据处理的支持不好。设置数据的 Storage Policies 属性后,只对新写入的数据有效。对于存量数据,系统并不能将其自动移动到对应的存储介质上。HDFS 提供了一个外置工具 mover,可以把数据移动到正确的位置,但 mover 也不能确保调用后会把所有的数据都移动过去。

  • 没有提供冷数据分析方案。

  • 没有提供把远程存储设备(譬如 S3)mount 到 DataNode 上作为存储类型的方案。

2. 实现

小米 HDFS-Tiering 方案**简化**了 HDFS 社区版的存储类型和存储策略,实现了冷热数据的自动分层管理,不同类型的数据存储到不同存储介质上。主要解决了以下问题:

  • 把远程的廉价存储介质挂载到 DataNode 作为 Archive 类型卷。

  • 自动分析集群数据,获得冷数据列表,改变数据的 Storage Policies 属性。

  • 自动循环调用 mover 工具,移动冷数据,并利用 fsck 命令判断数据是否迁移完成。

  • 支持在可靠存储介质上实现文件级别的 Dedup。

  • 支持灵活的存储配置方案,可切换 Archive 类型卷对应的存储介质。

小米 HDFS-Tiering 方案把存储介质分成两种类型:

  1. DISK:普通存储介质,譬如 HDD/SSD 本地硬盘、EBS 网盘等。

  2. ARCHIVE:低速廉价存储介质,譬如S3存储、高密度硬盘、磁带存储等。

又把数据分成三种存储策略,实现了数据在三种策略之间的自动转换(如图 2.1 所示):

  • HOT:三副本都在 DISK 上。

  • WARM:一副本在 DISK,两副本在 ARCHIVE 上。

  • COLD:三副本都在 ARCHIVE 上。

 

 

 

                                                   图 2.1 数据类型转换

以下介绍各主要模块的实现细节。

2.1 挂载远程存储设备到 HDFS 系统

为了尽可能复用现有的 HDFS 框架,我们采取把远程存储设备挂载到 DataNode 本地的方案,这样DataNode 就可把远程盘当作本地盘一样处理。对于 Amazon S3 的访问,小米已有自研的 FDS 方案。通过 FDS 访问 S3,再通过 FDS-FUSE 工具挂载 FDS 到本地目录。

FDS(File Storage Service):小米自研的对象存储服务,对象的

从单机到分布式:数据分层存储架构演进与实战指南 在构建高并发、海量数据处理系统时,数据存储架构的设计是核心挑战。其核心原理在于根据数据的访问频率、重要性等特性,将其分层存储在不同性能与成本的介质中,例如将热点数据置于内存缓存,核心业务数据存入关系型数据库,历史数据归档至对象存储。这种分层设计的技术价值在于,它不仅是性能优化的关键手段,更是实现系统横向扩展、构建可靠分布式架构的基石。通过解耦不同数据层,系统各部分得以独立扩展与优化,并实现了故障隔离。在电商、社交等典型高并发应用场景中,数据分层自然导向了分布式缓存、读写分离、分库分表等分布式技术的引入。本文 阅读详情

相关推荐

对象存储跑大数据的四大断点与实战解法

对象存储作为现代数据湖底座,正逐步替代HDFS成为PB级大数据平台的主流选择。其核心价值源于扁平命名空间带来的无限扩展性与云原生成本优势,但底层最终一致性、元数据操作瓶颈、小文件性能衰减及计算生态适配等原理性限制,常导致Spark作业卡死、分区数据丢失、List延迟飙升等典型故障。技术价值不仅在于存储成本降低40%+,更在于支撑实时分析、IoT直传、多云协同等新型数据范式。典型应用场景涵盖新能源车电池遥测、气象历史归档、电商实时数仓等日增10TB+的高吞吐环境。本文聚焦对象存储在真实生产中与Spark/Fl

weixin_34356310的博客 435

数据编排如何优化大数据存储成本?

本文旨在帮助读者理解数据编排技术在大数据存储成本优化中的应用,掌握通过智能数据管理降低存储开销的核心方法和最佳实践。核心概念与联系:解释数据编排的基本原理和存储优化机制核心算法原理:分析数据分层、压缩和生命周期管理的技术细节项目实战:通过实际案例展示优化效果应用场景与工具推荐未来发展趋势数据编排:智能化的数据自动管理技术,根据策略自动执行数据的移动、转换和优化冷热数据:根据访问频率划分的数据类别,热数据频繁访问,冷数据很少访问存储分层:将数据存储在不同性能和成本的存储介质上的架构。

小白菜的博客 222

Apache Fluss 深度解析:面向实时分析与 AI 的流式存储层

Apache Fluss 的核心价值可以概括为一句话:把实时数据从“流消息”提升为“可更新、可查询、可分析、可入湖的流式表”。它通过 LogStore 提供低延迟顺序日志,通过 KvStore 提供主键状态和点查,通过 Arrow/COMPACTED 格式优化不同读取模式,通过 changelog/binlog 虚拟表保留变化历史,通过 remote storage 和 lakehouse tiering 平衡实时性、成本和历史分析。

欢迎来到我的博客,一起探索代码里的世界! 308

HWSD全球土壤数据下载处理

下载地址: http://www.fao.org/soils-portal/soil-survey/soil-maps-and-databases/harmonized-world-soil-database-v12/en/

江北20190411的博客 3万+

MATLAB AppDesigner 中TextArea保留原有信息并换行显示提示信息

App Designer 中的文本区域TextArea组件,一般可以用来作为matlab app设计中的信息显示。 app.TextArea.Value = 'Hello Matlab'; Value可以是字符向量、字符向量元胞数组、字符串数组或一维分类数组。这样直接给TextArea赋值,每次赋值都会消除先前的信息,然后显示新的信息。如果想要在app实现保留原有信息、多行信息的输出,在MathWorks官方帮助中心给出了一种方法: cellArrayText{1} = sprintf('%s\n

我是麻瓜喔的博客 1万+

i.MX RT1064引脚配置与BGA封装选型实战指南

在嵌入式硬件设计中,引脚配置与PCB布局是连接芯片手册与物理实现的关键桥梁,直接影响系统的稳定性与信号完整性。其核心原理在于理解处理器的IOMUX(输入/输出多路复用器)系统与多电源域架构,前者通过软件配置实现引脚功能的灵活复用,后者则为不同外设接口提供独立的电压基准,是保障电源稳定性的基石。从技术价值看,合理的引脚规划能规避信号干扰、电源不稳等潜在风险,提升设计一次成功率。在应用场景上,无论是连接SDRAM、USB、SDIO等高速外设,还是配置UART、I2C等中低速接口,都需要遵循特定的布局布线规则。本

weixin_33217202的博客 315

嵌入式开发实战:如何用cJSON库在STM32上实现轻量级JSON通信(附完整代码)

本文详细介绍了如何在STM32嵌入式系统中使用cJSON库实现高效的JSON通信方案。针对嵌入式环境的内存限制,提供了内存优化策略、cJSON库的深度定制方法以及完整的通信流程实现代码,帮助开发者解决JSON解析效率低下和跨平台兼容性等核心挑战。

star5的专栏 475

LangGraph-StateGraph 和 Graph API 源码分析

摘要: StateGraph是LangGraph的核心API,用于构建有状态工作流图。本文分析了其实现原理,包括: 核心类关系:StateGraph(构建器)和CompiledStateGraph(继承自Pregel的可执行图) 关键流程:状态模式到通道的映射、节点到PregelNode的转换 实现特点: 支持TypedDict和Pydantic两种状态模式 自动选择通道类型(LastValue或BinaryOperatorAggregate) 通过映射函数处理节点输入输出 边实现基于通道写入机制 编译过程

839

SAP SLT DMIS 2018_1_752 究竟是什么意思?

把读懂,并不需要背太多编号。你只要记住:它就是DMIS 2018发行线里、面向的那一档组件版本,承载SLT 3.0的功能集。面向项目落地,要点就是三件事:看清平台基线、对齐DMIS支持包、走官方安装与补丁路径。如此,S/4到HANA,抑或S/4到BigQuery的复制链路,都会变得既稳定又可维护。DMIS 2018是新技术发行,基于,覆盖SLT全场景(SAP Learning)。DMIS_2018的安装与下载路径、通过SAINT安装的官方步骤(Installation Guide PDF)。源系统与。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 226

国科大学习资料--VLSI测试与可测试设计--2020期末考试试题

国科大学习资料–VLSI测试与可测试设计–2020期末考试试题 国科大学习资料–VLSI测试与可测试设计–2020期末考试试题 国科大学习资料–VLSI测试与可测试设计–2020期末考试试题 一、概念题 1简述可测试性测度与两个主要的测度指标的含义; 2以March C-算法为例,说明March算法的构成,以及March C-算法的故障覆盖率; 3“效果-原因”诊断法和“原因效果诊断法”的不同; 4列举四条扫描设计时出现的问 题及解决办法; 5最少写出1149.1与1500的五点不同; = = = = =

无名何许人的博客 1150

代数拓扑与AI架构:AI应用架构师深入探索数学研究如何分析复杂系统的结构特性

随着人工智能技术的飞速发展,AI系统变得越来越复杂。AI应用架构师需要有效的工具和方法来理解、设计和优化这些复杂系统。代数拓扑作为数学的一个分支,提供了独特的视角和技术来分析复杂系统的结构特性。本文旨在帮助AI应用架构师深入了解代数拓扑,以及如何将其应用于AI架构设计中,提升对复杂系统的分析能力。首先,我们会介绍代数拓扑和AI架构相关的核心概念及其联系,通过有趣的故事引入主题,让读者轻松理解复杂概念。接着,深入探讨代数拓扑的核心算法原理,结合具体的编程语言代码示例详细阐述。

大模型应用工坊 672

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

上一篇: 不能错过的分布式ID生成器(Leaf ),好用的一批!
下一篇: 操作系统和并发的爱恨纠葛
java架构师小芷
博客等级 码龄6年 216粉丝 519原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值