TDengine与Seeq集成实现工业时序数据分析与预测-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00252/article/details/148361892

TDengine与Seeq集成实现工业时序数据分析与预测

TDengine TDengine is an open source, high-performance, cloud native time-series database optimized for Internet of Things (IoT), Connected Cars, Industrial IoT and DevOps. 项目地址: https://gitcode.com/gh_mirrors/tde/TDengine

概述

本文将详细介绍如何将高性能时序数据库TDengine与工业分析软件Seeq进行集成，实现工业时序数据的存储、分析和预测。TDengine作为专为时序数据优化的数据库，与Seeq强大的分析能力相结合，可以为工业物联网(IIoT)和制造业提供完整的数据解决方案。

系统架构

整个系统架构分为三个主要部分：

数据采集层：通过各类传感器和设备采集工业数据
数据存储层：使用TDengine高效存储和管理时序数据
数据分析层：通过Seeq平台进行数据可视化和高级分析

环境准备

硬件要求

TDengine服务器：建议4核CPU，8GB内存，SSD存储
Seeq服务器：建议8核CPU，16GB内存，SSD存储

软件要求

TDengine组件：
- TDengine Server 3.1.0.3或更高版本
- taosAdapter服务正常运行
Seeq组件：
- Seeq Server
- Seeq Data Lab（需安装在独立服务器）
连接驱动：
- TDengine JDBC驱动(taos-jdbcdriver-3.2.5-dist.jar或更高版本)

详细配置步骤

1. TDengine端配置

首先确保TDengine集群正常运行，并创建测试数据库和表：

-- 创建超级表
CREATE STABLE meters (
    ts TIMESTAMP, 
    num INT, 
    temperature FLOAT, 
    goods INT
) TAGS (device NCHAR(20));

-- 创建普通表
CREATE TABLE goods (ts1 TIMESTAMP, ts2 TIMESTAMP, goods FLOAT);

2. Seeq端配置

2.1 安装JDBC驱动

查找Seeq数据存储位置：

sudo seeq config get Folders/Data

将TDengine JDBC驱动复制到plugins/lib目录
重启Seeq服务：

sudo seeq restart

2.2 配置数据源

在Seeq中配置三种类型的数据源连接TDengine：

电力数据源：连接meters表中的num字段
货物数据源：连接goods表
温度数据源：连接meters表中的temperature字段

每个数据源都需要配置相应的JSON描述文件，包含连接信息、查询语句和数据属性定义。

实际应用案例

场景描述

某电力系统需要分析并预测电力消耗趋势，考虑以下因素：

每月订单变化对用电量的影响
季节性变化（特别是夏季用电高峰）
设备扩容规划

数据分析流程

1. 数据准备

使用Python脚本生成模拟数据并导入TDengine：

# mockdata.py示例
import random
from datetime import datetime, timedelta
from taos import connect

# 连接TDengine
conn = connect()
cursor = conn.cursor()

# 生成模拟数据
start_date = datetime(2022, 1, 1)
for i in range(365):
    current_date = start_date + timedelta(days=i)
    ts = current_date.strftime("%Y-%m-%d %H:%M:%S")
    num = random.randint(1000, 2000)  # 模拟用电量
    temperature = random.uniform(10, 35)  # 模拟温度
    goods = random.randint(50, 150)  # 模拟货物量
    
    # 插入数据
    cursor.execute(f"INSERT INTO meters VALUES ('{ts}', {num}, {temperature}, {goods})")

2. 数据聚合

在TDengine中执行聚合查询，生成10天间隔的聚合数据：

INSERT INTO power.goods 
SELECT _wstart, _wstart + 10d, avg(goods) 
FROM power.meters 
INTERVAL(10d);

3. Seeq可视化分析

在Seeq Workbench中：

创建新的工作区
添加TDengine数据源
使用各种分析工具进行数据探索

4. 高级预测分析

在Seeq Data Lab中使用Python进行机器学习预测：

# 导入必要的库
from seeq import spy
import pandas as pd
import matplotlib.pyplot as plt
from mlforecast import MLForecast
from lightgbm import LGBMRegressor

# 获取数据
ds = spy.search({'ID': "8C91A9C7-B6C2-4E18-AAAF-XXXXXXXXX"})
sig = ds.loc[ds['Name'].isin(['Num'])]
data = spy.pull(sig, start='2015-01-01', end='2022-12-31')

# 数据预处理
data2 = pd.DataFrame()
data2['ds'] = data['Num'].index
data2['y'] = data['Num'].values
data2['unique_id'] = "power_consumption"

# 使用LightGBM进行预测
forecast = MLForecast(
    models=LGBMRegressor(),
    freq=1,
    lags=[365],
    target_transforms=[Differences([365])]
)

forecast.fit(data2)
predicts = forecast.predict(365)

# 可视化结果
pd.concat([data2, predicts]).set_index("ds").plot(title="电力消耗预测")
plt.show()