TDengine在光伏日电系统应用实践

TDEngine环境安装、配置及使用经验总结 TDEngine Server \ clent \ taostools环境下载、安装及配置 阅读详情

1 单位简介

山东八五信息技术有限公司(简称“八五创新”)是一家山东省高新技术企业和“双软”企业。公司秉持“赋能数据驱动经营”的企业使命,致力于成为产业数据运营技术和解决方案的引领者。
公司专注数据价值发掘、深耕行业应用,以IOT物联网平台、BI商业智能、AI人工智能的创新应用为产品方向,构建企业核心竞争力。依托深厚的行业背景和领先的产品技术优势,八五创新聚焦工业互联网、智慧化工园区两大核心领域,同时拓展智慧电力、智慧园区、智慧农业、智慧城市等细分领域,致力于打造企业级应用样板,以数据驱动经营、探索行业数字化转型新模式。

2 使用场景简介

2.1 当前业务场景

在新能源电力物联网平台开始由timescaledb时序库切换为TDengine数据库,主要用于物联网设备的实时数据的存储和查询分析,存储光伏设备传感器的遥测数据。
新能源物联网生产运营平台通过物联网及大数据技术将现有电站数据进行整合,实现园区设备的统一运行监视、数据集中管理。给不同人员等提供全面、便捷、差异化的数据和服务。
对运维人员提供设备的状态信息、报警信息、远程故障诊断信息、实时数据等数据应用服务;对管理人员和运营人员提供各类检测数据的汇总、变化趋势等应用服务。
系统整体的架构如下:
平台架构图

系统的总体架构按照分层实现的设计理念,在底层设计上实现各个软件系统的职能分离,确保各部分高效运转。

2.2 数据规模,查询压力等要求

规划设计数据存储规模大概在16T左右,目前数据日增量为1亿多条,全部测点接入后预计日增量为40多亿条左右;系统需支撑至少50000台设备总计400万测点(信号量和模拟量)的实时数据接入、处理及存储。
应用系统的常规查询在50QPS左右,高并发在100QPS左右。一次历史数据查询分析最大跨度为一年且支撑多测点多模式分析方式。
时序数据分析界面如下:
时序分析图
点位实时数据图

工况实时展示界面:
工况图

目前总数据量以及日增量:
总数据量
日增量

目前创建的超级表以及子表数:
在这里插入图片描述

2.3 数据模型简介

目前根据不同的测点类型建立了不同的超级表。按照不同的测点ID以及测点号作为tag创建了不同的子表。这样我们针对于测点可以直接进行单表分析,处理性能高、速度快。也可以针对多测点进行分析,直接操作超级表,业务实现简单,同时兼顾了查询性能。

2.4 查询需求

• 简单查询
针对于单测点的历史数据查询分析以及时间间隔聚合分析。主要是对单测点的异常数据的排查和告警数据的排查确认。由于使用超级表,查询单测点数据实际上只查询一个子表,数据量相对较小,查询分析基本毫秒级响应。简单查询sql图例:
在这里插入图片描述

• 聚合查询
多测点相同时间维度不同聚合类型的时间迁移对比分析。侧重于对比,方便用户更加有效的确认不同测点下的异常和差异情况。
在这里插入图片描述

• 大批量测点分组聚合查询
数百测点的分组分时段聚合查询;在一定时间段内,大批量测点的查询仍然可以迅速响应。

2.5 查询压力

峰值并发为100qps,平均并发量为20qps,实际场景中并发查询压力较小,未达到TDengine的查询瓶颈。

3 采用TDengine带来的收益

3.1 系统功能

读写性能较原timescaledb数据库提高10倍左右,在数据接入层不用再担心数据库的写入性能瓶颈;数据分析查询应用层也较原系统有较大提升,尤其是在时间跨度大的聚合类分析几乎瞬间响应。
通过乱序插入功能,解决了边缘侧由于网络问题导致的数据传输不及时造成的乱序写入问题,保证了数据的完整性。
集群功能对比timescaledb优势较大,timescaledb没有集群功能但支持流复制方式的主备库;tdengine集群容易搭建且无主从节点区分,对应用改造和支撑较友好,集群版读写性能提升较大。
数据存储增加集群多副本功能,通过数据冗余提升了系统的安全和可靠性,降低了系统的运维成本。

3.2 软硬件资源

节省了系统大量的计算资源以及存储资源,降低了大约4倍左右的存储成本。
对比未使用TDengine之前timescaledb时序库开启压缩后对70亿数据占用磁盘为165G,且一分钟内无法查询出一个月的历史数据;而在使用tdengine之后磁盘占用空间为40G左右,毫秒级返回针对一个月的历史数据的聚合查询。
相关查询如下:
在这里插入图片描述

4 应用TDengine遇到的问题与解决思路

原有时序库大数据量批量导入tdengine数据库,在1.6版本进行批量导入非常麻烦,一次批量插入只有200条左右,后期在升级到了2.0版本以上后一次可以插入1M数据,大大提升了不同数据库不同表结构之间的批量导入性能。

5 未来使用TDengine的考虑

经过一段时间的线上运行,TDengine数据库有优异的性能表现,我们决定将在后续时间将我们所有的物联网项目逐步的更新为TDengine数据库。

6 TDengine功能方面的期望与建议

分析型函数增强,希望增加时序库中实用的常用分析函数;
增强连续聚合查询功能,目前连续聚合功能实用性不强;
产品生态,与spark、flink等开源分析工具的集成。

作者简介: 山东八五信息技术有限公司-开发工程师李良政

tdengine学习笔记-建库和建表 车联网数据通常包括车辆的基本信息、传感器数据、位置信息等。静态数据:车辆的基本信息,如车辆ID、车型、生产日期等。动态数据:车辆运行时产生的数据,如速度、油耗、位置、温度等。 阅读详情

相关推荐

TDengine高可用分布式集群详解_tdengine 集群

本文将介绍TDengine的高可用集群架构,全文通俗易懂,会从最简单的分布式概念开始讲起,想要入坑服务器同学抓紧准备好你的被子,卷起来吧!在讲TDEngine的架构之前,我们先来复习和巩固一下分布式和集群中的一些常用概念以方便后续文章内容的理解。由于一些概念过于枯燥,所以我打算先举个栗子。TDengine 的设计是基于分布式的几个特性而设计的。TDengine 采用分布式高可用架构设计,支持水平扩容,这样任何单台或多台服务器发生硬件故障或软件错误都不影响系统的可用性和可靠性。

2401_84185556的博客 1262

EMQX Enterprise 4.4.12&4.4.13 发布:集群负载重平衡、TDengine 3.0 适配以及子表批量插入

EMQX Enterprise 4.4.12与4.4.13版本发布:集群负载重平衡与节点疏散功能为运维人员提供更灵活的集群管理方式,适配TDengine 3.0版本并新增分表批量插入功能,以提供更高的数据集成吞吐。

emqx_broker的博客 701

Ubuntu22.04 网络图标消失与连接故障排查指南(附实战修复流程)

本文详细介绍了Ubuntu22.04系统中网络图标消失与连接故障的排查与修复方法。通过ifconfig、dhclient等命令诊断问题,提供从紧急恢复网络连接到深度排查的完整解决方案,帮助用户快速恢复网络功能并预防类似问题再次发生。

weixin_28481133的博客 289

时序数据库TDengine,实战解决用电量监控管理系统

相比于influxdb,TDengine的全中文文档,类sql语句,对于一个英语渣来说就显得特别友好了。再加上教程丰富,案例又和我的需求比较类似,就选择TDengine实战了一把。

zyw0605688的博客 854

WRF后处理:python cartopy绘制土地利用/土地分类图//python绘制WRF下垫面类型(以北极为例)

下垫面类型对于WRF的地表过程十分重要,而在我们研究WRF的地表过程之前,需要对输入的土地利用类型进行一些绘制,以便后续的修改。LU_MODIS21函数定义了绘制的土地类型、标签与对应色标,我们使用时,直接引用LU_MODIS21()即可返回。其实很简单,只要将你拥有的土地类型数据提取出来,将原本函数中的labels和C切片,重新定义色标再绘制即可。在这里,我将以北极地区为例,绘制北极地区的WRF下垫面数据,我使用的MODIS21这类。

weixin_43750300的博客 3861

SAP_MM&FI模块-质保金标准解决方案详解

主要讲述了SAP系统质保金的标准实现方案,包含业务背景、后台配置、前台业务操作记录,以及关键点的AI解释;

风沙的博客 687

TDengine 在新能源领域的最佳实践

手把手教你在新能够领域应用 TDengine

TDengine(老段)专注时序数据库领域 1439

迫零均衡前与迫零均衡后眼图对比附Matlab代码

迫零均衡(Decision Feedback Equalization,DFE)是一种常用的数字通信技术,用于抑制信号传输中的多径干扰。迫零均衡(Decision Feedback Equalization,DFE)是一种常用的数字通信技术,用于抑制信号传输中的多径干扰。眼图是一种常用的信号质量评估工具,通过绘制接收到的信号在时域上的波形,可以直观地观察到噪声、失真和干扰等问题。眼图是一种常用的信号质量评估工具,通过绘制接收到的信号在时域上的波形,可以直观地观察到噪声、失真和干扰等问题。

ByteSparkX的博客 460

使用开源的TDengine为电力运维平台,提供数据支撑

企业简介 上海嘉柒智能科技有限公司成立于2015年,是智慧用电整体方案提供商。公司汇聚多名电力及通信行业精英,拥有多名建造师、电气专业工程师,拥有分布式电站、系统集成、物联网接入、能效管理领域的多项知识产权。 2017年公司被评为国家高新技术企业,拥有电力工程施工总承包资质、电力行业工程设计资质、国家增值电信业务ISP/IDC经营许可证、对外贸易经营资格证以及质量、环境、职业健康安全管理体系。 公司凭借近数百个项目工程经验,具备丰富的系统集成经验,具有ABB、SIEMNES、SCHNIEDIR、青岛汉缆、

weixin_43624824的博客 1107

为Ollama本地大模型添加持久化记忆层:openclaw-ollama-memory项目详解

在构建基于大型语言模型(LLM)的对话应用时,上下文管理是核心技术挑战之一。其原理在于模型本身不具备跨会话的持久化记忆能力,每次请求都是独立的。这导致在多轮对话中,模型无法有效利用历史信息,用户体验割裂。从技术价值看,独立的记忆层通过解耦推理与存储,能突破模型固定上下文窗口的限制,实现更智能、连贯的交互。其核心应用场景包括聊天机器人、智能助手及需要长期记忆的复杂代理。本文聚焦的 openclaw-ollama-memory 项目,正是为 Ollama 生态提供的记忆层解决方案,它通过向量检索和智能摘要等机制

weixin_42521558的博客 313

uniapp - 鸿蒙真机运行报错hvigor ERROR: Failed :entry:default@CompileArkTS...,hvigor ERROR: default@CompileAr

uniapp鸿蒙报错> hvigor ERROR: Failed :entry:default@CompileArkTS... hvigor ERROR: default@CompileArkTS watch work[0] failed. 【HarmonyOS】工程编译后报错hvigor ERROR: Failed :entry:default@CompileArkTS,uniAPP鸿蒙开发无法编译运行启动报错,工程编译后报错,运行不起来,删除掉项目entry下的build和.preview缓存文件后重新

🏆 前端领域优质创作者 4792

光伏储能数据难题很棘手?架构升级很迷茫?来看三大真实案例

在本篇文章中,我们汇总了一批较为典型的光伏储能项目的数据架构改造真实案例,给到大家参考。

涛思数据 516

SAP-ABAP:BAPI_INSPOPER_RECORDRESULTS 记录检验操作结果更新检验批状态详细解析

SAP-ABAP:BAPI_INSPOPER_RECORDRESULTS 记录检验操作结果更新检验批状态详细解析

baidu_35680696的博客 973

打造泛在电力物联网大数据平台

本文是涛思数据创始人陶建辉在《国家电力》2019年第04期首次发表的文章,涛思数据希望在泛在电力物联网大数据平台中,发挥自己的技术优势,贡献一份力量。建设泛在电力物联网,...

涛思数据 1000

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

写入性能:TDengine 最高达到 InfluxDB 的 10.3 倍,TimeScaleDB 的 6.74 倍

为了便于大家更好地阅读和理解,基于《 TSBS 的时序数据库(Time Series Database,TSDB)性能基准测试报告》内容,我们将从写入、查询及测试过程如何复现等几大维度输出系列文章。本篇文章将为大家解读三大时序数据库在写入性能上的差异点。

涛思数据 1719

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

时序数据库:TDengine整体架构

TDengine 的设计是基于单个硬件、软件系统不可靠,基于任何单台计算机都无法提供足够计算能力和存储能力处理海量数据的假设进行设计的。因此 TDengine 从研发的第一天起,就按照分布式高可靠架构进行设计,是支持水平扩展的,这样任何单台或多台服务器发生硬件故障或软件错误都不影响系统的可用性和可靠性。同时,通过节点虚拟化并辅以自动化负载均衡技术,TDengine 能最高效率地利用异构集群中的计算和存储资源降低硬件投资。TDengine 分布式架构的逻辑结构图如下:图 1 TDengine架构示意图一个完整

GIS摆渡人 6344

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

一篇文章让你全面了解TDengine

一篇文章让你全面了解TDengine 本文将从以下几个方面全面介绍TDengine。 TDengine的基本介绍 TDengine的发展历程 TDengine的优势 TDengine的适用场景 TDengine的写入存储策略 TDengine的特点 TDengine的基本介绍 一句话了解TDengine TDengine是一个高效的存储、查询、分析时序大数据的平台,专为物联网、车联网、工业互联网、运维监测等优化而设计。你可以像使用关系型数据库MySQL一样来使用它,简单又方便。 为什么会有TDengin

谙忆-陈浩翔 1万+

TDengine安装使用文档

例如:TDengine-client-3.0.7.1-Windows-x64.exe:数据库连接工具TDengine-server-3.0.7.1-Windows-x64.exe: 数据库主安装文件创建TDengine文件夹,在TDengine文件夹下创建log文件夹和data文件夹一直回车即可打开C:\TDengine\cfg下的taos.cfg将C:\Windows\System32\drivers\etc中hosts文件的只读去掉,然后打开hosts,在最后加上电脑的本地IP。

安徒生的博客 2842

TDengine:开源、高效的物联网大数据平台

一、物联网介绍 物联网是一个非常宽泛的概念,它意味着各种设备和机器可以通过互联网进行连接并进行信息交换,主要应用在家居、医疗、交通等领域。 2021年7月13日,中国互联网协会发布了《中国互联网发展报告(2021)》,物联网市场规模高达1.7万亿元。 二、主流平台 1.亚马逊云科技(aws) aws物联网服务可以连接和管理数十亿台设备,存储和分析工业、家居消费、商业和汽车业工作负载数据,形成了庞大的云服务生态系统。 2.阿里云 阿里云物联网平台是......

知心宝贝的博客 1万+

TDengine时序数据库通俗易懂教程

TDengine 是一款开源、高性能、云原生的时序数据库,且针对物联网、车联网、工业互联网、金融、IT运维等场景进行了优化。TDengine的代码,包括集群功能,都在 GNU AGPL v3.0 下开源。除核心的时序数据库功能外,TDengine还提供缓存、数据订阅、流式计算等其它功能以降低系统复杂度及研发和运维成本。

m0_47883026的博客 1万+

时序数据库TDengine基本概念和建模思路

时序数据库TDengine的使用和概念介绍以及建模思路

weixin_42599091的博客 4936

TDengine 写入性能优化最佳实践

多表低频是指根据数据库的配置,一个 vnode 中单次数据落盘的单表数据条数普遍小于 minRows 时,可视为多表低频场景。stt_trigger 是解决多表低频场景引入的一个参数和一套机制,stt_trigger 等于 1 时,数据是从buffer 直接落到最终的 data 文件中,零散的写入 last 中,当 stt_trigger 大于 1 时,原来的直接落盘被分成两步来完成,第一步数据先写到 stt 文件中,第二步再从 stt 中写入到 data 文件完成最终落盘。2024-7-21 于北京。

TDengine(老段)专注时序数据库领域 3170

TDengine 基础概念和知识点

实话实说,InfluxDB概念更加简单,上手更快。InfluxDB入门系列教程① 概念简介TDengine主要是引入了超级表和子表的概念,有点绕,不是那么好理解。理解清楚了,倒也还好。采用一个数据采集点一张表的方式,能最大程度的保证单个数据采集点的插入和查询的性能是最优的。有实际的存在意义,倒也说得过去。

专注基础架构领域 3126

TDengine基本操作整理

与创建普通表一样,创建超级表时,需要提供表名,表结构 Schema,即数据列的定义。上述语句将创建一个名为 power 的库,这个库的数据将保留 365 天(超过 365 天将被自动删除),每 10 天一个数据文件,每个 VNode 的写入内存池的大小为 16 MB,对该数据库入会写 WAL 但不执行 FSYNC。与标准的关系型数据库一样,一张表有表名,Schema,但除此之外,还可以带有一到多个标签。返回的结果有差别, *返回全部表的所有列数据(不包含标签),而带表名前缀的通配符,则只返回该表的列数据。

m0_60853780的博客 8143
上一篇: IDEA中对整个项目进行代码格式化
下一篇: 单节点kafka配置内外网同时访问
fire_in_java
博客等级 码龄14年 122粉丝 21原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

fire_in_java

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值