InfluxDB使用总结与性能优化

本文详述了InfluxDB的基本概念,包括Database、Retention Policy、Measurement等,强调了Tag与Field的区别及操作注意事项。在Schema设计中,提出避免在measurement和Tag value中放置数据,控制Tag Key的数量等原则。此外,分享了系列优化策略,如控制series数量、批量写入、使用Continuous Queries、选择合适时间粒度等,旨在提升性能和资源利用率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

如果项目的功能模块中用到对时间特性比较敏感的数据,例如性能监控,趋势走向等需求时,InfluxDB将会是一个不错的选择,虽然其很强很彪悍,但只有在使用的过程中遵循一定规范与原则,才能发挥其良好的特性。

本文会先介绍一些InfluxDB的基本概念,然后列出一些在设计Schema时应该注意的问题,最后列出一些常见的优化方式。

基本介绍

概念

  • Database: 数据库名,在 InfluxDB 中可以创建多个数据库,不同数据库中的数据文件是隔离存放的,存放在磁盘上的不同目录。
  • Retention Policy: 存储策略,用于设置数据保留的时间,每个数据库刚开始会自动创建一个默认的存储策略 autogen,数据保留时间为永久,之后用户可以自己设置,例如保留最近2小时的数据。插入和查询数据时如果不指定存储策略,则使用默认存储策略,且默认存储策略可以修改。InfluxDB 会定期清除过期的数据。
  • Measurement: 对于传统数据库的表,例如 cpu_usage 表示 cpu 的使用率。
  • Tag sets: tags 在 InfluxDB 中会被建立索引,且放在内存中。如果某种数据经常用来被作为查询条件,可以考虑设为Tag
  • Field: 记录值,是查询的主要对象,例如value值等
  • Point:代表一条记录
  • Series:tag key 与tag value的唯一组合
  • Timestamp: 每一条数据都需要指定一个时间戳,在 TSM 存储引擎中会特殊对待,以为了优化后续的查询操作。

操作

由于Tag与Field的不同特性,在编写SQL进行查询时,Tag与Field支持不同的操作,总结如下:

  • Tag
    • 只能使用Tag进行Group
    • 只能使用Tag进行正则表达式操作
  • Field
    • 只能使用Field进行函数操作,例如sum()
    • 只能使用Field进行比较操作
    • 如果需要使用int,float,boolean类型进行存储,只能使用Field

Schema 设计总结

  • 不要把数据放到measurement名称中。
    例如 不要让measurement名称看起来是这样的:
cpu.server1.us_west

应该改成

cpu,host=server1,region=us_west
  • 不要把数据放到Tag value中
    例如 不要让measurement名称看起来是这样的:
cpu,host=server1.us_west

应该改成

cpu,host=server1,region=us_west
  • 不要使用取值范围很广的数据作为tag,例如uuid,hash等等
    如果实在有这方面的需求,考虑一下几点建议
    • 切成多个shard,并分到多个实例上
    • 使用tag 前缀进行区分
    • 使用field
    • 使用集群
  • Tag Key不要与Field的名称相同
  • Tags的数量不要太少
  • database的数量不要太多
    当database的数量达到千万级别时,会出现打开文件过多,占用内存过多等问题。

优化

常见的优化方式如下

  1. 控制series的数量

Series会被索引且存在内存中,如果量太大会对资源造成过多损耗,且查询效率也得不到保障。
可以通过以下方式查询series的数量:

 influx -database 'cloudportal' -execute 'show series' -format 'csv'|wc -l

通过以下方式查询tag values的数量:

influx -database 'cloudportal' -execute 'SHOW TAG VALUES FROM six_months.collapsar_flow WITH KEY = dip' -format 'csv'|wc -l

数量是否合适可以参考以下标准:
- 机器配置

类型CPURAMIOPS
Low2-4 cores2-4G500
Moderate4-6 cores8-32G500-1000
High8+ cores32+G1000+

- 配置对应的Series数量

机器配置每秒写Field每秒查询数量Series数量
Low<5 K<5<100k
Moderate< 250 K<25<1million
High>250 K>25>1million

2. 控制Tag Key,与Tag Value值的大小
3. 使用批量写
如果使用HTTP一次写一条记录,或许还没有太大的负担,但是如果用HTTPS的进行一条一条的写,在加密/解密上的资源损耗会非常的大。如果不能使用HTTP,则推荐使用UDP协议
4. 使用Continuous Queries 进行数据汇聚
对于查询时间范围较大且数据粒度要求不是非常高的数据,可以考虑使用CQ进行数据汇总,并对汇总结果进行查询
5. 使用恰当的时间粒度
在数据存储的时候默认使用纳秒。而对于很多业务操作而言,可能只需要精确到秒级别。这种情况对于存储资源以及查询性能都会有一定的影响。想法如果业务需要毫秒级别的精确程度,而存的时候使用了秒级别的数据,此时查询又会出现数据的丢失
6. 存储的时候尽量对Tag进行排序
7. 无关的数据写不同的database
8. 根据数据情况,调整shard的duration
默认7天创建一个,如果查询的时间范围较大,会打开多个shard文件,对于数据量不大,且查询范围可能较大的数据,可以将shard duration时间设置的长一点
9. 存储分离
将WAL目录与data目录分别映射到不同的磁盘上,以减少读写操作的相互影响

<think>嗯,用户想了解C语言中的__attribute__关键字的使用说明和示例。首先,我需要回忆一下关于这个关键字的用法。记得__attribute__是GCC的扩展特性,主要用于给编译器提供额外的信息,比如优化结构体对齐、函数行为等。 首先,我应该解释__attribute__的基本概念,说明它是GCC特有的,可能影响可移植性。然后,分点列出常用的属性,比如packed、aligned、deprecated、format等,每个都要给出示例代码,这样用户更容易理解。 比如packed属性,可以用于结构体,取消对齐填充。示例代码中,用户提供的引用[1]里有一个结构体的例子,可以直接引用过来。接着是aligned,设置对齐方式,引用[3]中的例子可以用来说明如何指定结构体或类型的对齐字节数。 然后是deprecated属性,标记过时的函数或变量,提醒开发者不要使用。还有format属性,用于函数参数的格式检查,引用[4]中的printf样式检查的例子很合适,需要说明参数的位置和类型。 接下来,可能需要提到其他属性,比如unused,防止未使用变量的警告,以及section,将变量或函数放入指定段。这些也是常见的用法,但用户可能没有提到,需要补充。 注意事项部分,用户提供的引用[2]已经提到了可移植性问题、编译器依赖性和性能影响,这些需要强调,确保用户知道潜在的问题。 用户的问题中还要求生成相关问题,我需要考虑用户可能进一步想知道的内容,比如不同编译器的替代方案、对齐对性能的影响、实际应用场景,以及如何检测过时API的使用。这些问题能帮助用户深入理解。 需要注意的是,用户提供的引用中有多个例子,要正确标注引用标记,比如[^1]、[^2]等,确保引用来源正确。同时,代码示例要符合C语法,避免错误。例如,结构体定义中的packed位置是否正确,是否需要typedef等。 最后,确保回答结构清晰,分点说明,每个属性都有示例和解释,同时注意事项部分要突出,让用户明白使用时的限制和潜在问题。检查是否有遗漏的重要属性,或者是否有更常见的用法需要补充。例如,noreturn属性是否常用,是否需要提及?可能用户更关注基础用法,所以先集中在常用的几个属性上。</think>### C语言__attribute__关键字使用说明 `__attribute__`是GCC编译器特有的扩展特性,用于向编译器传递附加信息以优化代码或控制内存布局。以下是其常见用法及示例: --- #### 1. **内存对齐控制** - **`packed`属性**:取消结构体成员的内存对齐填充 ```c struct packed_struct __attribute__((packed)) { char a; // 1字节 int b; // 4字节(通常需要对齐到4字节边界,但packed取消对齐) }; // 总大小为5字节(默认编译环境可能为8字节) ``` 此属性常用于节省内存空间或处理网络协议数据包。 - **`aligned`属性**:强制指定对齐方式 ```c struct S __attribute__((aligned(8))) { short f[3]; // 每个short占2字节,共6字节 }; // 结构体按8字节对齐 typedef int more_aligned_int __attribute__((aligned(8))); // 类型强制8字节对齐 ``` 此属性适用于需要特定内存对齐的场景(如SIMD指令优化)[^3]。 --- #### 2. **函数行为控制** - **`deprecated`属性**:标记过时函数或变量 ```c void old_api() __attribute__((deprecated("改用new_api()"))); ``` 编译时会触发警告,提示开发者迁移到新接口[^2]。 - **`format`属性**:强制格式字符串检查 ```c void my_printf(const char *fmt, ...) __attribute__((format(printf, 1, 2))); ``` 编译器会校验参数格式字符串的匹配性(类似`printf`)[^4]。 --- #### 3. **其他常用属性** - **`unused`属性**:抑制未使用变量的警告 ```c int __attribute__((unused)) debug_flag; // 标记变量可能未被使用 ``` - **`section`属性**:指定代码/数据存放的段 ```c int var __attribute__((section(".custom_section"))); // 变量存入自定义段 ``` --- #### 注意事项 1. **可移植性**:`__attribute__`为GCC扩展,其他编译器(如MSVC)可能不支持[^2]。 2. **性能权衡**:过度使用对齐属性可能导致内存浪费或缓存不友好。 3. **语法限制**:属性需紧跟在声明后,多属性用逗号分隔:`__attribute__((aligned(8), packed))` ---
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值