个人设想的冷热数据架构

Elasticsearch冷热数据架构部署解析 深入解析Elasticsearch冷热数据分离架构的部署策略,通过elasticsearch实现高效资源利用与性能优化,适用于大规模日志与指标场景。 阅读详情

1、热数据 vs 冷数据

对比热数据冷数据
访问频度常访问不常访问
存放策略放内存放硬盘

e.g.
两个接近的商品【A:蛋黄酥】和【B:月饼】
假设A和B每年都被访问365次
A每天都被访问1次
B仅在中秋前被访问365次,其余时间几乎不被访问
于是认为:A是热数据,B是冷数据
对此,A应长期放内存,以便快速访问;B应长期放硬盘,在中秋前再放到内存

1.1、冷热转换

夏装和冬装 具有季节性
夏季时,夏装 成为 热数据,冬装 成为 冷数据
冬季时,夏装 成为 冷数据,冬装 成为 热数据

2、个人构想的【冷热数据自动转换】模型

2.1、Python真代码伪实现

class Queue:
    def __init__(self, size=3):
        self.size = size  # 队列大小(内存大小)
        self.queue = []
        self.hot = {}
        self.cold = {chr(i + 97): i for i in range(26)}
        self.check_queue()

    def visit(self, x):
        """访问"""
        if x in self.queue:
            y = self.get_hot(x)
            del self.queue[self.queue.index(x)]  # 更新队列
        else:
            y = self.get_cold(x)
        self.queue.insert(0, x)  # 入队
        self.hot[x] = y
        if self.queue.__len__() > self.size:
            del self.hot[self.queue.pop()]  # 出队
        print(y)

    def get_hot(self, x):
        """访问热数据"""
        return self.hot[x]

    def get_cold(self, x):
        """访问冷数据"""
        from time import sleep
        print('冷数据查询有延迟。。。')
        sleep(1)
        return self.cold[x]

    def check_queue(self):
        """查看队列"""
        print('队列:{}'.format(self.queue))
        print('热数据:{}'.format(self.hot))
        print('冷数据:{}'.format(self.cold))


print('程序开始'.center(50, '-'))
q = Queue()
while True:
    a = input('输入一个字母:').strip()
    try:
        q.visit(a)
    except KeyError:
        print('查看队列状况')
        q.check_queue()

3、个人构想的【冷热数据存储】模型

使用频度存储方式
高内存
中固态硬盘
低机械硬盘
极低机械硬盘+压缩
存储不是越贵越好——聊聊大规模数据架构里的“冷热分层”这点事 摘要: 大规模数据存储面临成本与性能的平衡问题,冷热分层是解决方案。热数据(高频访问)使用高速SSD/NVMe,冷数据(低频访问)存储在HDD/对象存储以降低成本。关键在于通过访问频率分析实现自动分层迁移,可用Redis记录访问次数并定时迁移冷数据。架构上采用分层控制器动态调度数据位置。实际落地需结合访问频率、时间衰减、业务权重等策略,选择适合各层的存储技术(如Redis/SSD热层,S3/OBS冷层)。架构思维强调匹配而非最强技术,让数据在不同层级合理流动,实现资源高效利用。冷热分层是系统可持续演进的关键 阅读详情

相关推荐

冷热数据分离及其分离策略

冷热数据浅浅见 一、前言二、冷热数据的标准(判断)三、判断冷热数据的算法3.1 基于数据结构特点的判断算法3.1.1 传统的方法3.1.2 改进的方法 3.2 基于统计学上的判断算法3.3 基于机器学习的判断算法 四、总结五、参考 一、前言 这个星期看了关于目前数据存储中关于冷热数据的一些相关内容。 所谓冷数据,简单来说就是在一段时间内访问的比较少,接下来的一段时间访问的概率也不是很大。相反的是,热数据,就是在一段时间内访问的较多的数据,它们在接下来的时间内访问的概率也会非常大。 ...

GIS摆渡人 618

2024年最全大数据冷热分离方案_如何对宽表数据进行冷热处理,2024年最新太厉害了

​ 这个字段可以是时间维度,比如订单的****下单时间、创建时间****,可以把3或6个月前的订单数据当作冷数据,3或6个月内的订单数据当作热数据。当然,字段也可以是状态维度,比如根据订单状态字段来区分,将已完结的订单当作冷数据,未完结的订单当作热数据。​ 冷热分离就是在处理的数据的时将数据分成冷库和热库,冷库存放的是已经走到最终状态的数据,同时也是不常使用的数据;​ 3.2.2 用户能接受新旧数据分开查询,比如一些网站默认只让查询3或6个月内的订单,如果要查询3或6个月前的订单,还需要访问其他的页面.

2401_84160087的博客 965

架构师必知必会系列:数据架构与数据管理

作者:禅与计算机程序设计艺术 1.简介 概述 数据架构师是指负责设计、开发、集成、部署和管理大数据平台的系统工程师。数据架构师主要职责包括对数据仓库、数据湖、云端数据服务等数据系统进行规划、设计、开发、集成、部署和管理;同时,也要深刻理解数据之间的关联、数据的价值、数据

AI天才研究院 1959

数据架构:概念与冷热分离

一 什么是数据架构 关于架构,大家都有了解和理解。通常一个业务或项目,在做架构设计时,可能会包含业务架构和技术架构。其中技术架构是我们作为开发角色,在做设计时重点的工作内容。但还有架构类型的划分方式,会包括业务架构、技术架构、数据架构和应用架构四种。 数据架构管理的内容包括管理对象、管理流程、管理组织,管理对象又包括数据标准、数据模型、数据库、数据质量。总之,数据架构就是由一定的管理组织,通过一系列管理流程,来实现对数据对象的管理。数据架构构成如下图所示: 二 为什么需要数据架构 “经验来.

程序员架构进阶 640

百万数据级快速查询优化技巧

百万数据级快速查询优化技巧,数据库快速查询所遵循的方法。

【Cubietruck】Qt5.8.0 x64、x86、armhf三个版本的编译安装

一、       Preparation 以下环境配置支持虚拟机和实体机,但是实体机生产效率会相对高一点,实体机编译Qt的速度是虚拟机两倍以上。 若使用虚拟机,推荐使用VirtualBox,开源免费,尽量不要使用Vmware破解版。   Download List   名称 链接 下载项目 OS https://mirro

beatfan的博客 3658

冷热分离解决方案

业务背景:系统在使用的过程中随着业务数据量越来越多,已经超过了数据库中单表的承受能力,系统的瓶颈在数据库IO上,这时候可以通过冷热数据分离的方式来解决查询速度慢的问题。数据库IO瓶颈的解决方案除了冷热分离,还有读写分离,分库分表等方案。

qq_28227405的博客 1967

stm32f103c8t6的中文字库

stm32的成熟中文字库,上手即用,操作简单

nbbskk的博客 3654

Redis混合存储-冷热数据识别与交换

背景 Redis混合存储产品是阿里云自主研发的完全兼容Redis协议和特性的混合存储产品。通过将部分冷数据存储到磁盘,在保证绝大部分访问性能不下降的基础上,大大降低了用户成本并突破了内存对Redis单实例数据量的限制。其中,对冷热数据的识别和交换是混合存储产品性能的关键因素。 冷热数据定义 在Redis混合存储中,内存和磁盘的比例是用户可...

weixin_34128534的博客 588

FileZilla Server 1.2.0 TLS证书过期问题

FileZilla Server TLS证书过期后重新生成

Wigle的备忘录 7530

Ubuntu单系统安装全攻略:从删除Windows到UEFI引导设置(避坑指南)

本文提供Ubuntu单系统安装的完整指南,涵盖从安全删除Windows系统到UEFI引导设置的详细步骤。通过专业工具准备、分区方案设计、引导加载器配置等关键环节,帮助用户避免常见安装问题,实现纯净高效的Ubuntu单系统环境。特别强调UEFI引导的深度配置与安装后的性能优化,适合希望彻底转向Linux的用户。

weixin_29210727的博客 411

Hadoop冷热数据转换工具Sqoop

Sqoop是Apache基金下的开源项目,目的是完成关系数据库和Hadoop的转化,实现双向导入。通常的大型数据系统使用之实现较少,主要原因是因为其在CDH3才开始支持,而且该方式是通过JDBC驱动,将数据库进行读取,并将数据转换至HDFS文件,通常会影响热数据的使用。但是做为日常工作,需要转换时,还是会提供一些方便。CDH3版本的Sqoop已经默认安装了,其构建在MapReduce之上,不同于直...

技术无止境 4057

葵花 Himawari 8/9号数据学习记录-01-数据初识

葵花卫星学习记录,第一章:卫星的来源与卫星数据的波段介绍

weixin_44111909的博客 540

数据架构:数据冷热分离实践思考

系列文章: 数据架构:概念与冷热分离 公众号:程序员架构进阶 一 概述 上一篇文章数据架构:概念与冷热分离中介绍了数据架构的概念和意义。并抛出了数据冷热分离的问题。事实上,这并不是新的概念,各公司在很早之前就已经开始了落地实践。微软云有冷热 blob 存储,阿里云有 ots,都是为了在云服务层面提供冷热存储的解决方案。尽管有这些工具,如果很好地实现冷热分离,仍然是值得仔细思考和玩味的。 二 冷热分离核心问题与案例 2.1 关键问题 回归话题,无论我们怎样选择冷热存储方案,首先,都还是需要.

程序员架构进阶 1256

【新手必看】挖漏洞流程指南,黑客手把手教你挖漏洞月入过万!收藏这篇就够了!(附学习笔记)

【新手必看】挖漏洞流程指南,黑客手把手教你挖漏洞月入过万!收藏这篇就够了!(附学习笔记)【新手必看】挖漏洞流程指南,黑客手把手教你挖漏洞月入过万!收藏这篇就够了!(附学习笔记)

weixin_57514792的博客 1105

【机械臂算法】基于最小惯性参数集的动力学辨识仿真实践

本文深入探讨了机械臂动力学参数辨识的核心挑战与解决方案,重点阐述了基于最小惯性参数集的理论与方法。通过分析PUMA560实例,详细介绍了利用QR分解法或符号推导法获取可辨识参数集,并系统讲解了从激励轨迹设计、仿真数据采集、线性系统求解到模型验证的完整实践流程,为高精度动力学建模与控制奠定了坚实基础。

weixin_29054399的博客 377

【ES】从ignore_throttled参数废弃看Elasticsearch冷热数据架构演进

本文深入探讨了Elasticsearch冷热数据架构的演进,从ignore_throttled参数废弃到现代冷热分层架构的转变。文章详细介绍了冻结索引(frozen indices)的局限性,以及如何迁移到更高效的冷层(cold tiers)和冻结层(frozen tiers)方案,提供了版本适配、集群配置和性能优化的实战指南。

alice7model的博客 1087

CAN总线BusOff恢复机制详解:快慢恢复策略在车载网络中的实战应用

本文深入解析了CAN总线BusOff恢复机制,重点阐述了快慢恢复策略在车载网络中的工程应用。通过对比NXP S32K与STM32平台的实现代码,并结合CANoe仿真与参数优化方法,为工程师提供了从理论到实战的完整解决方案,旨在提升车载网络的可靠性与功能安全。

7up55的博客 615

Elasticsearch - 冷热数据架构设计 基于 Elasticsearch 的分层存储实践

本文介绍了Elasticsearch冷热数据架构的设计与实践。首先分析了数据访问的"时间局部性"特点,指出80%以上查询集中在最近数据上。然后详细阐述了Elasticsearch的分层存储方案,包括节点角色标记、ILM生命周期管理和分片分配机制。重点讲解了热、温、冷三层节点的硬件配置差异和优化策略,如热节点采用NVMe SSD保证性能,冷节点使用HDD降低成本,并通过冻结索引减少内存占用。文章还对比了冻结索引与搜索归档两种方案的适用场景,为构建高性能、低成本的分层存储体系提供了实用参考。

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

冷热数据浅浅见

冷热数据浅浅见一、前言二、冷热数据的标准(判断)三、判断冷热数据的算法3.1 基于数据结构特点的判断算法3.1.1 传统的方法3.1.2 改进的方法3.2 基于统计学上的判断算法3.3 基于机器学习的判断算法四、总结五、参考 一、前言 这个星期看了关于目前数据存储中关于冷热数据的一些相关内容。 所谓冷数据,简单来说就是在一段时间内访问的比较少,接下来的一段时间访问的概率也不是很大。相反的是,热数据,就是在一段时间内访问的较多的数据,它们在接下来的时间内访问的概率也会非常大。 在互联网中,很多业务对数据的访

xiaopan的博客 7075

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

ElasticSearch5.X的冷热数据架构

转载:https://my.oschina.net/xiaomaijiang/blog/826701 当使用ElasticSearch做大规模的时序数据分析的时候,我们建议使用基于时序的索引并且采用3种不同类型的节点组成分层架构(Master、Hot-Node、Warm-Node),也就是我们所说的"Hot-Warm"架构。 Master Nodes 我们建议使用3个独立的主节点来提供足够的...

weixin_30532759的博客 128

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

StarRocks架构演进:从经典架构到共享数据架构的变革

StarRocks架构演进:从经典架构到共享数据架构的变革 【免费下载链接】starrocks StarRocks是一个开源的分布式数据分析引擎,用于处理大规模数据查询和分析。 - 功能:分布式数据分析;大规模数据查询;数据分析;数据仓库。 - 特点:高性能;可扩展;易于使用;支持多种数据源。 ...

gitblog_00857的博客 1035
上一篇: 大数据(0a)整体架构
下一篇: 大数据(2c)Hadoop集群部署
小基基o_O
博客等级 码龄9年 4414粉丝 467原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值