多点《基于 Databend 的 TiDB 数据归档实践》 | Data Infra 分享第 4 期总结

开源、云原生且实时分析型的现代数据仓库DataBend的介绍,及其与其它开源文件存储的结合使用实例_databend功能 Databend 是一个开源、云原生且实时分析型的现代数据仓库,旨在提供高效的数据存储和处理能力。它采用 Rust 语言开发,并支持 Apache Arrow 格式以实现高性能列式存储与查询处理。主要特点:云原生设计:Databend 构建在 Kubernetes 之上,具备弹性伸缩、水平扩展的能力,可轻松部署在公有云或私有云环境中。SQL 支持:Databend 具备完善的 SQL 查询功能,兼容 MySQL 协议,使得用户可以利用熟悉的 SQL 语法进行数据查询和处理。性能优化。 阅读详情

本周末 Data Infra 社区分享中邀请到 多点 DMALL 数据库负责人:冯光普 分享了《 基于 Databend 的 TiDB 数据归档实践 》

本次分享的主要内容:

  • 为什么选择 Databend 归档 TiDB

  • 归档工具,归档的流程,实践效果

  • 归档实践总结,对 Databend 未来的展望

为什么选择 Databend 归档 TiDB

TiDB 在多点 DMALL 使用的非常好。可以实现透明扩展, 研发无感,数据增加,架构不变;TiDB 在使用中给人的感觉是没有容量限制,支持更多的数据;在 TiDB 中扩容更便捷,加节点即扩容,自动 Rebalance。基于以上优点,TiDB 越用越舒服,但成本也就越来越高。

上图多点 DMALL TiDB 某集群现在跑在腾讯云上总共 24 个节点,每个节点近 3 T+ 空间(NVME 磁盘),现在总数据量 60 T 了, QPS 接近 10 万 。数据还在不断的上升中,所以考虑需要对 TiDB 进行归档存储。

在选择归档时,分 4 个方面做了对比:

  • 存储成本:对象存储和 HDD, SSD 的成本,其中对象存储是 HDD 的1/10, 是 SSD 的 1/30,

  • 在线查询能力:但数据又不能直接放到对象存储中,还需要提供对外的查询能力,

  • 支持大表持续备份:这块也调研了 MariaDB on S3,需要先写入 InnoDB,然后在转成只读的 s3 engine ,这样备份 10 TB 的表,本地也要有 10 TB 的空间, Databend 是直接写入对象存储。

  • 兼容 MySQL 协议:可以保持 TiDB 的使用习惯。

基于以上条件的对比,最终多点 DMALL 选择了 Databend 。多点 Databend 的部署架构如下:

其中 Databend-query 有点类似于 MySQL server 直接连接对象存储,对于用户管理,权限,meta 信息存储在 Databend-meta 中,这个节点可以单点部署,生产中也可以部署成集群模式。

归档工具、归档流程、实践效果

DMALL 研发一个新的归档工具,工作流程如下:

  1. 先做归档表结构到 Databend 创建

  1. 基于小批量读取源端到 Channel 中,同时检测源端压力,如果源端压力大,降低读取速度,如果压力小,就可以加大读取

  1. Databend 端写入时,可以合并写入,实现更大的 batch

  1. 在 Databend 写入成功后,再去源端删除,保证数据安全

归档任务,由开发人员发起,DBA 审核,自动化归档,数据永久保留。基于上面的方法,可以实现开发人员,查询 2,3 年前的数据,也可以自助完成。

多点采用的单表按 10 M 每个 Batch 写入,评估一天单表可

以归档 1.3 T 数据,单集群对于表没有限制,可以根据任务去并发写 Databend 集群,这样一天的量基本非常可观。

另外这块,多点 DMALL 也对比了 MySQL,TiDB,Databend 数据压缩能力:

在 MySQL 中占用 150 G 数据,导入 TiDB 中占用:25 G, 在 Databend 中占用:18 G(只有一个副本,数据可用性靠对象存储保证)。

基于成本方面的考查:数据从 TiDB 到 Databend  从 3 副本到 1 份数据(对象存储帮搞定副本),对象存储不需要预留,按实际付费,单价仅是 HDD,SSD 成本的 1/10-1/30 。DMALL 这边使用 Databend 做 TiDB 的归档后,存储成本仅仅是原来存储成本的 2%。

归档实践总结,对 Databend 未来的展望

在归档场景下 Databend 优势:

  • 降本显著:基于对象存储,冷数据存储成本除低 98%,如果你是 SSD 到对象存储,基可以达到 99% 以上的降本。

  • 云中立:支持 AWS, Azure,GCP,阿里云,腾讯云,华为云,青云,火山引擎,minio,ceph 等

  • 研发友好:MySQL 协议兼容,可在线查询,统计分析性能好

  • 运维无忧:无限空间,高可靠性,免维护,迁移便捷

最后冯光普提出希望 Databend 生态方面更加的完善,例如,可以更加完善 TP 到 Databend 的数据同步据,进一步的融合 TP + AP 的能力。

关于 Data Infra 社区

Data Infra 社区是 Databend 开发者邀请数据工作者一起交流数据架构及相关技术的一个社区。关注微信公众号,持续了解 Data Infra 社区。

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend 文档:https://databend.rs/

  • Twitter:https://twitter.com/Datafuse_Labs

  • Slack:https://datafusecloud.slack.com/

  • Wechat:Databend

  • GitHub :https://github.com/datafuselabs/databend

     文章首发于公众号:Databend

Databend 的安装配置和使用 了解新型数据库,介绍 Databend 的安装配置和使用。 阅读详情

相关推荐

微信DAT图片恢复全攻略:从文件路径到批量解密(附最新工具下载)

本文详细介绍了微信DAT图片恢复的全过程,从文件路径定位到批量解密操作,帮助用户高效恢复加密存储的图片。文章涵盖新旧版本微信的存储结构差异,推荐使用专业解密工具进行批量转换,并提供了提升恢复成功率的实用技巧和常见问题解决方案。

weixin_29325007的博客 458

Databend 设计概述 | 白皮书

Databend 是一个开源的、完全面向云架构的新式数仓,它提供快速的弹性扩展能力,并结合云的弹性、简单性和低成本,使 Data Cloud 构建变得更加容易。 Databend 把数据存储在像 AWS S3 ,Azure Blob 这些云上的存储系统,可以使不同的计算节点挂载同一份数据,从而做到较高的弹性,实现对资源的精细化控制。 Databend 在设计上专注以下能力: 弹性 在 Databend 中,存储和计算资源可以按需、按量弹性扩展。 安全 Databend 中数据文件和网络传输都是端到端加密,

Databend的博客 1189

GD32F470 DSP库移植避坑指南:从CMSIS版本冲突到AC6工程配置

本文详细解析了在GD32F470平台上移植CMSIS-DSP库的完整流程与关键避坑点。针对CMSIS版本冲突、AC6编译器下的浮点ABI配置、DSP库源文件添加等核心难题,提供了经过验证的解决方案,帮助开发者高效完成移植,确保硬件FPU正常工作并优化性能。

data3的博客 533

Databend:下一代云数据仓库解决方案

Databend是一个用Rust语言开发的开源云数据仓库,旨在为大规模数据分析提供高性能、低成本的解决方案。作为Snowflake的替代品,Databend专注于快速查询执行和数据摄取,适用于复杂的大规模数据集分析。云原生架构: 与AWS S3、Azure Blob、Google Cloud等云存储服务无缝集成高性能: 基于Rust构建,采用先进的向量化执行技术成本效益: 设计用于可扩展的存储和计算,在提高性能的同时降低成本AI驱动分析: 通过AI函数支持高级分析数据简化。

2401_87458778的博客 1769

【QNX+Android虚拟化方案】12 - 设备虚拟化 之 Passthrough透传、Vdev Trap、HAB Socket 原理解析

【QNX+Android虚拟化方案】12 - 设备虚拟化 之 Passthrough透传、Vdev Trap、HAB Socket 原理解析

|~~~热爱生活、努力学习的小伙汁~~~| 1373

目前最强的价格行为技术分析AI!大A也能用!还免费!

有球友推荐了一个历史最强的价格行为技术分析AI工具,使用下来确实很惊艳,解决了 很多AI工具黑盒过程,难以回溯的问题,他的决策过程可解释,提供决策树、诊断结果、原始响应、调试信息和未来走势预期。用户能够看到模型为什么选择“做多、做空或不下单”。会检查置信度、入场条件、盈亏比、结构失效和冷却期。最大的优点不是“预测一定准确”,而是把主观的价格行为分析整理成了可重复、可解释、可校验、可持续跟踪的工程化流程。本文记录本项目在 Windows 上的实际部署与启动方法。

木头大左的博客 85

Databend 集群部署 | 新手篇(2)

,其中 databend-query 是计算节点,无状态模式,这种架构也有直接用于生产的。实际上生产环境推荐至少部署三个 databend-meta 组成集群,其中 databend-query 可以是一个节点,而且可做到不使用就关闭。如果你使用的是公有云上对象存储,就不用担心对象存储的高可用。下面我们描述一下 Databend 的集群环境搭建。在 Databend 集群中分为两个角色:databend-meta 集群和 databend-query 集群。

Databend的博客 823

【C++】开源:cpp-httplib HTTP协议库配置与使用

cpp-httplib HTTP协议库配置与使用

DevFrank的博客 5547

SaaS 出海:Databend Cloud 的定位与实践

提到 “SaaS 出海”这个词大家肯定并不陌生,SaaS 企业将业务拓展到海外市场已经成为许多 SaaS 公司的重要战略方向。随着企业对于灵活性、可扩展性以及成本效益需求的不断增长, SaaS 模式提供了理想的解决方案。对于寻求出海机会的 SaaS 企业来说,全球化市场的巨大潜力尤为吸引人。在许多地区,尤其是发展中市场, SaaS 服务的普及率还远远没有饱和,这也为企业提供了非常广阔的成长空间。随着全球数字化转型的不断加速, SaaS 服务需求也在持续增长。

Databend的博客 1208

论文学习——Connected Speech-Based Cognitive Assessment in Chinese and English——TAUKADIAL挑战赛介绍

这个比赛很有意义,因为目前AD检测的主要问题就是数据集过少,大部分数据集都是英语数据集,但是实际上很多患者分布在非英语的国家,所以需要解决多语种数据小的问题。这个比赛刚好是解决了英语检测样本和中文检测样本的问题,不过Baseline做的实在不够高明,对于语义信息的提取还是需要再进一步改良的。 这篇文章主要是对这个数据集了解的更加深刻,方便以后自己做科研!加油!趁现在,抓紧把论文写完!

Blackoutdragon的博客 1912

PCB制造工艺参数到AD规则设置

本文提供了PCB设计与制造的落地指南,强调需先了解PCB厂的工艺参数,再在Altium Designer中设置相应规则。核心步骤包括:获取PCB厂的关键工艺参数(线宽/线距、过孔尺寸等),在AD中设置电气规则、布线规则、阻焊规则等,并进行DRC检查。文章还给出了常见问题避坑建议和快速落地模板,帮助设计师确保设计符合生产要求,避免因工艺不匹配导致的报废或成本增加。

qq_37999850的博客 294

Tapdata 和 Databend 数仓数据同步实战

Databend: 是新一代基于对象存储的弹性云数仓产品。地址:OpenDAL :是 Databend 中负责和底层存储打交道的一个组件,目前被 Rust 多数据库产品及 Rust sccache 中大量使用,估计不远的将来会成为一个多云对象存储支持最好的产品。地址:Openraft: 是 Databend 中负责 Databend Meta 中的集群组件,目前被 SAP 及 许多交易所使用。

Databend的博客 804

Darknet-Yolov3 移植过程

本教程面向使用寒武纪平台进行深度学习推理任务的开发者。针对当前主流检测网络darknet-yolov3,进行寒武纪平台的移植。开发者对照移植过程,能够利用寒武纪智能处理器设备完成多种场景的目标检测任务。本实验代码基于 Neuware 1.6.1 与 Python 2.7 环境。

shengyin714959的博客 438

Databend 特性系列(1)|Databend 数据生命周期

在上面的文章中我们演示了 snapshot 在 Databend 对于数据生命周期的访问控制。这里有一个核心就是云对象存储不能炸了。每天备份一下对应的表结构。每天备份一下对应表的 fuse_snapshot 对应输出。如果是自建的存储可以增加副本数来增加安全性。

Databend的博客 620

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

使用 Databend 全新体验!一文看懂 Databend 可视化管控平台 BendDeploy

Databend 提供了一套基于 Kubernetes 的标准化私有部署管控平台——BendDeploy,帮助用户快速、安全地实现 Databend 多集群、多租户的部署和管理。BendDeploy 提供了简单易用的可视化运维体验,极大地提升运维效率,减少错误和中断。通过 BendDeploy,用户可以实现多租户管理、集群部署、集群扩缩、集群升级、节点管理等操作。此外,BendDeploy 还提供了日志收集、查询和分析能力,将日志收拢到一个平台中,简化了操作。

Databend的博客 1091

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Databend v1.2 版本发布!Data + AI

各位社区小伙伴们,Databend 于 2023 年 6 月 29 日迎来了 v1.2.0 版本的正式发布!相较于 v1.1.0 版本,开发者们一共新增了次 commit,涉及个文件变更,约行代码修改。在 v1.2.0 版本中,Databend 新增了等特性,大幅提升的性能。

Databend的博客 385

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Databend 2024 年度总结:乘势而上,创新无止境

2024 年对 Databend Labs 来说是非凡的一年,也是具有里程碑意义的一年。这一年,Databend 不仅迎来了成立三周年,更迈入了商业化元年。Databend Labs 在过去一年里,以卓越的产品能力和社区贡献,推动了云数据仓库领域的变革,也让更多企业通过 Databend 实现了降本增效的目标。让我们一起回顾 Databend 的 2024 年,并展望更加值得期待的 2025 年!

Databend的博客 966

Databend使用入门

云数仓Databend使用的一些重要的笔记

hys__handsome的博客 1085

释放无限潜力:Databend 存算分离架构如何让企业数据管理焕然一新?

存算分离架构的出现为云原生数据库带来了新的可能性。通过计算与存储资源的解耦,Databend 实现了高扩展性、弹性使用和更高的资源利用率,解决了传统存算一体架构中存在的扩展性和成本问题。作为一款云原生数据仓库,Databend 的设计思路从一开始就围绕存算分离架构展开,最终为用户提供了一种高效灵活的数据处理解决方案。Databend 存算分离架构的设计与实现不仅是当前技术发展的体现,更为未来数据库系统的发展指明了方向。

Databend的博客 1300

开源、云原生且实时分析型的现代数据仓库DataBend的介绍,及其与其它开源文件存储的结合使用实例

Databend 是一个开源、云原生且实时分析型的现代数据仓库,旨在提供高效的数据存储和处理能力。它采用 Rust 语言开发,并支持 Apache Arrow 格式以实现高性能列式存储与查询处理。

zrc_xiaoguo的博客 2410

【Databend】数据类型

介绍 Databend 数据类型,并且记录工作使用中可能遇到的问题。

小发菜 1109

Databend 数据写入实测:从 3千行/秒 到 230万行/秒,4种方式该怎么选

本文对比了Databend支持的四种数据写入方式性能差异及适用场景:INSERT(云上直接写入对象存储)、INSERT_NO_PRESIGN(私有化转发写入)、STREAMING_LOAD(实时流式写入)和STAGE_LOAD(批量加载)。测试显示STREAMING_LOAD在200k批次可达127k行/秒,STAGE_LOAD最高达800k行/秒。建议私有化场景优先考虑简单实现,云上则应结合成本选择INSERT或STAGE_LOAD以节省流量费用,避免使用可能产生高成本的INSERT_NO_PRESIGN

Databend的博客 878

Databend Operator: 打造开源的数据仓库部署利器

Databend Operator 是我们最新在 Github 上开源的项目,旨在通过 Kubernetes 原生方式管理 Databend 的核心组件,尤其是面向私有化和混合云部署场景。Tenant和Warehouse。Tenant 定义对象存储端点、Meta 信息和用户配置;Warehouse 通过 tenantRef 引用 Tenant,并声明计算镜像、实例数、Disk Cache 配置与日志策略。

Databend的博客 721

Databend 存储架构总览

通过本篇文章带大家理解一下 Databend 的存储结构。Databend 内置的 Table 引擎为 Fuse table engine ,也是接下来要花重点篇幅要讲的。

Databend的博客 900

告别 Kafka,拥抱 Databend:构建高效低成本的用户行为分析体系

用户行为数据埋点指标是数据仓库中不可或缺的重要数据源之一,同时也是企业最宝贵的资产之一。通常情况下,用户行为数据分析包含两大数据源:用户行为分析日志和上游关系型数据库(如 MySQL)。基于这些数据,企业可以进行用户增长分析、用户行为研究,甚至通过用户行为分析精准排查用户问题。

Databend的博客 1618

Databend 实现高效实时查询:深入解读 Dictionary 功能

在大型系统中,数据通常存储在多个不同的数据源中,例如 PostgreSQL、MySQL 和 Redis 负责存储在线数据,而 Databend 和 ClickHouse 则用于存储分析数据。数据变动导致不一致性在多源数据系统中,数据可能会在不同的系统中以不同的频率和时间点进行更新。例如,在线数据源如 MySQL 和 Redis 可能会实时更新,而分析系统如 Databend 更新频率较低。这种时间差异可能导致数据不一致,分析结果可能与实际在线数据不符。多表 join 操作性能低下。

Databend的博客 1103
上一篇: Databend JSON 复杂数据类型的设计与使用 | Databend 特性系列
下一篇: Recluster Table | RFC 解读
Databend
博客等级 码龄5年 1458粉丝 362原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值