极致性能大揭秘（之一）！CirroData-TimeS时序数据库的文件存储格式

最新推荐文章于 2025-05-29 11:24:05 发布
原创 最新推荐文章于 2025-05-29 11:24:05 发布 · 653 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#时序模型

本文深入探讨了CirroData-TimeS时序数据库的文件存储格式，包括时序数据的特征、行存与列存的优缺点，以及为什么时序数据更适合列式存储。TsFile作为CirroData-TimeS的数据文件存储格式，通过设备、指标和时间的组织方式，以及细致的索引结构，实现高效的读写性能和存储效率。

在上一篇《如何应对物联网时代数据爆炸式增长? CirroData-TimeS时序数据库来了！》中，我们介绍了超高性能时序数据库CirroData-TimeS的数据建模方式和性能。CirroData-TimeS在插入性能、查询性能，以及压缩比测试中都远超InfluxDB，而其所支持的分布式时序数据库在具备高可用性的同时，性能仍能达到单机性能的80%，完全能够应对物联网大爆发的数据场景需求。
本篇将揭示CirroData-TimeS极致性能背后的核心技术之一：文件存储格式。


一、时序数据的特征

时序数据具有如下特征：

  • 数据是时序的，即一定带有时间戳。
    由于时序数据是某个测点，或是某个事件源持续不断的产生的，产生数据的时间点对于追溯、分析这个时间下测点，事件的状态非常重要，所以时序数据一般都带有时间戳，这个是时序数据最大的特征。
  • 按时间范围读取
    通常来说，一般不会关心某个特定点的数据，而且关注一段时间的数据，关注这段时间之内的数据的走势。
  • 聚合查询价值高
    用户会对某段时间之内某些测点的一些聚合值感兴趣，比如count、avg、max、last_value、first_value等。
  • 时间序列多大千万级甚至亿级别
    由于入网设备的增多，测点数量增加，时间序列就会越来越多，如何管理和存储这些时间序列元信息，也是将要面临的挑战。
  • 数据量大，存储成本高
    由于测点数据是不间断持续写入的，随着入网设备逐渐增加，数据量将会越来越大，会占用大量的磁盘空间，这就要求时序数据库具有较高的压缩比，能够节省磁盘空间。


二、文件存储方式

文件存储格式主要有两类：行存和列存。
假设有如下数据。

在这里插入图片描述

1、行存

行存如下图所示：

  • 每行数据连续存储
最低0.47元/天 解锁文章
CirroData
关注
【图像去噪】论文复现：新手入门必看！DnCNN的Pytorch源码训练测试全流程解析！为源码做详细注释！补充DnCNN-B和DnCNN-3的模型训练和测试！附各种情况下训练好的模型权重文件！
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
08-12 1万+
- 以官方Pytorch源代码为基础，在DnCNN-S的基础上，增添DnCNN-B/CDnCNN-B、DnCNN-3模型训练和测试复现，代码注释非常详细，无论是科研还是应用，新手小白都能看懂，学习阅读毫无压力，去噪入门必备，适用于去噪、超分、JPEG去块任务； - 提供新增后的完整代码和训练好的模型权重文件，模型性能与论文中近似，可不训练直接测试； - 理论和源码结合，进一步加深理解算法原理、明确训练和测试流程 - 更换路径和相关参数即可训练自己的图像数据集
时序数据库 | InfluxDB - 行协议
Trollz的博客
11-05 2368
Time Series Database | InfluxDB - Row Protocol
时序数据库
ggaofengg的专栏
03-05 1642
时序数据库概念介绍
重磅发布！东方国信发布分布式图数据库CirroData-Graph，布局国产数据库细分领域
CirroData的博客
04-15 964
近日，东方国信发布了分布式图数据库CirroData-Graph，以满足包括深度关系探索、关联分析、路径搜索、特征抽取、数据聚类、社区检测、知识图谱等应用场景对图数据库的需求。CirroData-Graph基于开源项目HugeGraph研发，并在HugeGraph的基础上实现了分布式开发集成。较单机版图数据库来说CirroData-Graph提升了图计算性能的同时还完美的解决了单点故障所带来的高可用性问题。目前CirroData-Graph已经在实际生产环境中投入使用。 一、近十年来图数据库的关注度增速最
MYSQL有时序数据库的用法_时序数据库介绍和使用
weixin_35148673的博客
01-19 1439
时序数据库介绍和使用发布时间：2018-06-10 18:17,浏览次数：655<>1.基础<>1.1 时序数据的定义什么是时间序列数据(Time SeriesData，TSD，以下简称时序)从定义上来说，就是一串按时间维度索引的数据。用描述性的语言来解释什么是时序数据，简单的说，就是这类数据描述了某个被测量的主体在一个时间范围内的每个时间点上的测量值。它普遍存在于IT基础...
数据库查询求小于_查询性能提升利器：CirroData之join order选择算法
weixin_39788986的博客
11-21 302
全文约3836字，阅读约23分钟数据库查询的快慢一般情况下和查询性能有很大的关系，这也是在数据库设计时需要重点考虑的问题。CirroData数据库面向PB级海量数据分析应用领域，通过引入CBO，即Cost-Based Optimizer(CBO)，来根据CPU、内存以及I/O的开销进行查询的优化。CirroData的CBO通过对查询语句中的表做定量分析，并利用join order选择算法...
最新版时序数据库：CirroData-TimeS 0.12.1 重磅发布
CirroData的博客
06-22 1271
时序数据库CirroData-TimeS是北京东方国信科技股份有限公司面对高速增长的物联网大数据市场和技术挑战推出的创新性的大数据处理产品。它不依赖于任何第三方软件，CirroData-TimeS是吸取众多传统关系型数据库、NoSQL数据库等软件的优点之后自主研发的产品，在时序空间大数据处理上，有着独到的优势。历时一年多的核心研发，CirroData-TimeS 0.12.1版本重磅发布！本文对CirroData-TimeS 0.12.1的最新功能、架构、分布式存储和性能对比进行了详细介绍。
CirroData-TimeS时序数据库在新能源领域的创新应用为东方国信再添殊荣（附案例）
CirroData的博客
08-26 853
2022年8月18日，《哈佛商业评论》中文版携手FESCO在北京举办第八届“人才经济论坛”。东方国信CirroData-TimeS时序数据库在新能源领域的创新应用案例在百余个优秀团队中脱颖而出，荣获“高能创新团队奖”。 东方国信CirroData-TimeS时序数据库在国家电网某电力科学研究院大数据平台建设项目中发挥了重要作用。某电科院下辖入网风电场百余座，光伏电站数百座。大数据平台接入辖区内新能源电站电网运行数据，数据规模达到PB级，平台采用CirroData-TimeS时序数据库完成对时序数据的实时存
【KWDB 创作者计划】KWDB时序数据库在工业级机器手臂生产调度中的落地实践案例，加速时序数据高效存储与检索
2301_79516858的博客
05-29 1万+
摘要： 随着工业4.0和物联网的快速发展，传统关系型数据库难以应对海量时序数据的存储与处理需求。本文介绍了专为物联网和工业场景设计的分布式多模数据库KWDB，其核心是高性能时序数据库，支持千万级设备接入和亿级数据秒级读写。通过机器手臂自动化测试案例，分析MySQL在时序数据场景下的性能瓶颈和数据同步问题，对比OLTP与OLAP的差异，阐述KWDB融合时序、关系型数据库及AI分析引擎的优势。KWDB提供高压缩比、分布式事务及预测分析能力，适用于电力、制造、车联网等领域。文章还简要介绍了KWDB集群部署方案，推
时序数据库 vs 实时数据库，一文搞懂！
数据派THU
05-31 340
本文约2500字，建议阅读6分钟 本文将详细解析这两种数据库的定义、区别与发展趋势。针对工业场景数据管理，时序数据库与实时数据库重点不同，但存在融合可能。从信息化到数字化，数据正从被存储的对象成为价值的创造者，工业数据更是驱动传统企业迈向智能制造的重要抓手。相较于其他领域，工业领域由于需要及时监控生产过程，减少生产中断带来的损失，所以对于数据的实时性要求更高。在此背景下，实时数据库以及以 IoTD...
某省电信运营商数据仓库系统CirroData加速案例
CirroData的博客
02-23 606
日前，某省电信运营商完成了数据仓库系统的优化加速工作，该优化案例利用了东方国信与Intel公司的先进软硬件技术，该项目的底层数据库采用了东方国信自主研发的CirroData分布式数据库，在CirroData中引进了国际先进的Intel傲腾SSD盘存储技术，对CirroData计算存储分离架构中的计算节点进行垂直扩展(Scale-up），在保持集群架构不变的情况下，实现了数据仓库系统的加速优化。 一、项目背景： 某省电信运营商基于东方国信国产CirroData分布式数据库，构建了数据仓库系统，并采用东方国信“
数据库中的行式存储和列式存储
数据科学和工程
03-28 5666
背景 数据库技术发展迅速，由原来的关系型数据库到越来越丰富的非关系型数据库。如果按照存储形式分类，主要有：行式存储（Row-Based）、列式存储（Column-Based）、键值（key-value）存储、文档（doc）存储、图形（graph）存储、时序数据库等。我们常用的传统关系型数据库（MySQL、Oracle、PostgreSQL 、DB2和 SQL Server）都是采用行式存储，而最新兴起的分布式数据库很多采用列式存储，例如：Druid、Kudu、Clickhouse等。 本文将详细介绍行式存储
【Cirrodata】通过python头import导入连接行云数据库
cui8483的博客
02-03 1241
【Cirrodata】通过python头import导入连接行云数据库
cirroData | 行云数据库初次使用
画个圆圆的地球
09-23 5371
cirroData | 行云数据库初次使用
处理具有业务特性的计算问题：CirroData-TimeS时序数据库用户自定义函数介绍
CirroData的博客
05-24 542
CirroData-TimeS时序数据库可以应用于多种场景，通用的时序数据库提供的内置函数一般具有业务通用性，对于具有业务特性的处理逻辑，CirroData-TimeS能够提供更灵活的处理框架能将处理逻辑下推，获得更好的性能。
记一次行云数据库(CirroData) 分区 创建/修改/添加数据等
weixin_44254243的博客
03-30 7002
1. 需求： 公司用到了行云数据库（国产库），属实有点哪个。 因为数据量太大，需要进行优化，这里采用的是数据库分区来优化。 2. 分区概念： 数据分区是一种物理数据库的设计技术，它的目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间。 分区并不是生成新的数据表，而是将表的数据均衡分摊到不同的硬盘，系统或是不同服务器存储介子中，实际上还是一张表。另外，分区可以做到将表的数据均衡到不同的地方，提高数据检索的效率，降低数据库的频繁IO压力值，分区的优点如下： 1、相对于单个文件系统或是硬盘，分区可以存
时序数据库 Apache-IoTDB源码解析之文件格式简介（三）
刘涛华
02-09 2887
上一章聊到在车联网或物联网中对数据库的需求，以及 IoTDB 的整体架构，详情请见： 时序数据库 Apache-IoTDB 源码解析之系统架构（二） 打一波广告，欢迎大家访问IoTDB 仓库，求一波 Star 。欢迎关注头条号：列炮缓开局，欢迎关注OSCHINA博客 这一章主要想聊一聊： 行式存储、列式存储的区别 TsFile 的格式 行式与列式存储的区别 假如我们的逻辑上的数据表格...
Oracle 存储过程详解（procedure）
热门推荐
鱼丸丶粗面
10-22 1万+
文章目录1 概述2 语法2.1 创建2.2 调用2.3 修改、删除3 Debug 1 概述 1. 存储过程是什么：事先经过编译并存储在数据库中的一套 sql 语句 2. 存储过程的优点 (1) 提高 sql 执行效率 ：'预编译' 后存储于内存中，故使用时，无需再次编译 (2) 减少 '网络流量(I/0)'：减少 sql 与服务器之间的上下文交换 (3) 提高系统的 '安全性' ：减少 sql 注入的危险、权限控制 3. 存储过程的缺点 (1) 增加数据库服务器的 '负荷'
最新版本发布！CirroData V2.15功能、性能、易用性全面提升
CirroData的博客
08-26 678
CirroData分布式数据库作为国内领先的自主可控数据库产品，目前已在两百多个客户的上千个项目中投入使用。结合项目现场用户实际使用需求反馈，历经多个行业标杆项目真实场景考验，近日CirroData-OLAP分布式数据库推出V2.15版本，新增21项新功能，对26个功能点全新升级，实现了功能、性能、易用性的全面提升，为用户带来新的体验。...
influxdb时序数据库的存储和管理原理？
最新发布
09-13
<think> 我们被要求解释InfluxDB时序数据库的存储和管理原理。根据提供的引用，我们可以总结如下核心点： 1. **存储引擎设计**（引用[4]）：InfluxDB专注于高性能读写和实时操作，采用高度可扩展的数据接收和存储引擎。它实现了采样和数据保留策略，将高价值、高精度数据保存在内存，低价值数据保存到磁盘。 2. **核心概念**（引用[3]）： - **Series**：由Measurement、Tag Set和Field Key唯一确定的时间线。这是InfluxDB数据组织的核心。 - **时间结构化管理**（引用[5]）：通过连续查询(CQ)和保留策略(RP)自动降采样和清理旧数据。 3. **存储架构**（引用[1][4]）： - 专为时序数据优化，采用LSM Tree(日志结构合并树)的变种TSM(Time-Structured Merge Tree)存储引擎。 - 数据按时间分区并索引Tag，实现快速范围查询。 4. **数据生命周期管理**（引用[2][5]）： - 集成外部系统（如Hive）实现长期存储和批量处理。 - 通过保留策略自动删除过期数据，通过连续查询降低数据精度。 现在我们将详细展开这些原理： ### 一、数据模型与核心概念 InfluxDB的数据模型包含以下关键元素（基于引用[3][5]）： - **Measurement**：相当于关系型数据库的表名，描述被测对象（如`cpu_usage`）。 - **Tag**：索引字段，用于高效过滤（如`host=server1`）。所有Tag组合形成**Tag Set**。 - **Field**：实际测量的数值，不支持索引（如`value=62.3`）。 - **Timestamp**：数据点的时间戳（纳秒精度）。 多个数据点构成一个**Series**（系列），由Measurement、Tag Set和Field Key唯一确定。例如： ``` Series Key = <measurement>,<tag_set> -> (field1, field2...) ``` 示例：测量值`temperature`，标签`location=room1,sensor=1`，字段`value=25.6`组成一个Series。 ### 二、存储引擎：TSM树原理 InfluxDB采用专门设计的**TSM(Tree-Structured Merge Tree)** 存储引擎（引用[4]），其核心设计包括： 1. **内存缓存（Cache）**： - 新写入的数据首先存入内存缓存（MemTable），结构为**Map<SeriesKey, List<（时间戳,值）>>**。 - 缓存满后转为不可变状态，并刷写到磁盘形成**TSM文件**。 2. **磁盘文件结构（TSM File）**： - 每个TSM文件包含多个**Block**，每个Block存储一个Series在特定时间范围内的压缩数据。 - 文件索引结构采用**Memory-Mapped B+树**，存储每个Series Key对应的Block位置（时间范围、文件偏移量）。 ```plaintext TSM文件结构： +-------------------+ | 索引区 (B+树) | → 映射：SeriesKey → [Block1位置, Block2位置...] +-------------------+ | 数据块区 | | Block1: [t1-v1, t2-v2...] (压缩) | | Block2: ... | +-------------------+ ``` 3. **数据压缩与合并**： - 数据块采用**差值编码（Delta Encoding）** + **简单8b/整数压缩**等算法压缩。 - 后台定期合并小TSM文件（类似LSM Tree的Compaction），减少文件数量并删除过期数据。 ### 三、写入与查询优化 1. **写入流程**（引用[4]）： - 数据写入WAL（预写日志）确保持久性，然后写入MemTable。 - 批量写入（Batch Write）减少I/O次数，提升吞吐量。 2. **查询加速**： - **倒排索引**：快速定位包含特定Tag的Series（如`WHERE host='server1'`）。 - **按时间分区**：查询时优先过滤时间范围，减少扫描数据量。 - **谓词下推**：在数据加载前过滤Tag条件。 ### 四、数据生命周期管理 1. **保留策略（Retention Policy, RP）**（引用[5]）： - 定义数据保留时长（如`RP=30d`），过期数据自动删除。 - 每个数据库有默认RP，支持按Measurement设置不同RP。 2. **连续查询（Continuous Query, CQ）**（引用[5]）： - 定时执行预定义的聚合查询，将结果写入新Measurement。 - 示例：每小时计算平均CPU使用率，存储为`cpu_usage_1h`。 ```sql CREATE CONTINUOUS QUERY cq_hourly ON mydb BEGIN SELECT MEAN(value) INTO cpu_usage_1h FROM cpu_usage GROUP BY time(1h), host END ``` ### 五、高可用与集群管理（引用[4]） - **数据分片（Sharding）**：按时间范围分区（如每日分片），分散到不同节点。 - **副本机制**：每个分片跨节点复制（通常3副本），通过Raft协议保证一致性。 ### 总结：InfluxDB的存储管理优势 1. **高性能写入**：LSM风格批量刷盘+高压缩率。 2. **高效查询**：倒排索引+时间分区+谓词下推。 3. **低成本存储**：自动降采样（CQ）和过期清理（RP）[^5][^2]。 通过上述设计，InfluxDB成为时序数据库领域的领先者（引用[1][4]），适用于监控、IoT等实时场景。 §§相关问题§§ 1. InfluxDB的TSM存储引擎具体如何实现数据压缩？ 2. 如何在InfluxDB中配置保留策略和连续查询？ 3. InfluxDB集群部署的最佳实践是什么？ --相关问题--: 1.InfluxDB的TSM存储引擎具体如何实现数据压缩？ 2.如何在InfluxDB中配置保留策略和连续查询？ 3.InfluxDB集群部署的最佳实践是什么？ </think> ### InfluxDB时序数据库的存储和管理原理 InfluxDB作为领先的时序数据库（DB-Engines排名第一）[^1]，其核心存储和管理机制针对时序数据特性深度优化，主要包含以下原理： --- #### 一、数据模型设计 1. **层级化数据结构** - **Measurement**：逻辑表名（如 `cpu_usage`） - **Tags**：索引字段（如 `host=server1,region=us-west`），用于高效过滤 - **Fields**：数值型指标（如 `value=62.3`） - **Timestamp**：纳秒级时间戳 ```plaintext Example 数据点: cpu_usage,host=server1,region=us-west value=62.3 1493983680000000000 ``` 2. **Series 核心概念** 每个唯一的 **Measurement + Tags 组合**构成一个 Series（时间线）[^3]。 $$SeriesKey = \langle \text{Measurement}, \text{TagSet} \rangle$$ --- #### 二、存储引擎架构 1. **TSM (Time-Structured Merge Tree)** - **内存层（Cache）**：新写入数据存入 MemTable（内存表） - **预写日志（WAL）**：保障写入持久性 - **磁盘层（TSM Files）**： - 内存数据刷盘为压缩的 TSM 文件 - 文件结构： ```plaintext +---------+-----------------+-------------------+ | Header | Blocks (数据块) | Index (索引区) | +---------+-----------------+-------------------+ ``` 2. **索引加速机制** - **倒排索引**：为 Tag 值建立快速查找映射 - **时间范围索引**：按时间窗口划分数据块 - **Series 文件**：存储所有 SeriesKey 的元数据 3. **高效压缩策略** - 时序数据特性利用： - 时间戳差值编码（Delta-of-Delta） - 浮点数 XOR 压缩 - 字符串字典压缩 - 典型压缩率：10-100x[^4] --- #### 三、数据管理机制 1. **保留策略（Retention Policies）** - 自动删除过期数据： ```sql CREATE RETENTION POLICY "1_year" ON "mydb" DURATION 365d REPLICATION 1 ``` - 多级存储策略：高频数据存SSD，低频数据转HDD[^4] 2. **连续查询（Continuous Queries）** 自动降采样原始数据[^5]： ```sql CREATE CONTINUOUS QUERY "cq_hourly" ON "mydb" BEGIN SELECT MEAN(value) INTO "cpu_usage_1h" FROM "cpu_usage" GROUP BY time(1h) END ``` 3. **分片（Sharding）策略** - 按时间分区（如每日分片） - 分布式集群中自动平衡数据 --- #### 四、高性能设计原理 1. **写入优化** - 批处理写入（Batching） - 无序数据接收（通过 WAL 保序） - LSM Tree 架构适应高吞吐写入[^4] 2. **查询优化** - 谓词下推：优先过滤 Tag 和时间范围 - 列式处理：按 Field 批量读取 - 向量化执行引擎（Flux 语言） --- #### 五、外部集成能力 通过 Hive 等工具实现长期存储与批量分析[^2]： ```plaintext 时序数据采集 → InfluxDB（实时分析） → Hive（离线批量处理） ``` 优势： - InfluxDB：低延迟查询（毫秒级） - Hive：复杂分析 & 成本存储 --- ### 原理总结 InfluxDB 通过 **TSM 存储引擎**、**Series 数据模型**、**分层存储策略**和 **CQ/RP 自动化管理**，实现了时序数据的“三高”特性： $$高效写入（10^6 \text{ points/s}） \times 高压缩率（100\times） \times 实时查询（ms \text{级}）$$ 使其成为 IoT 监控和 DevOps 场景的首选[^1][^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值