涛思 TDengine 时序库 连接池 超级表 单表批量插入 多表批量插入

最新推荐文章于 2025-05-27 09:27:48 发布
原创 最新推荐文章于 2025-05-27 09:27:48 发布 · 1.2k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#tdengine #大数据 #时序数据库

TDengine优点：

  1. 专门设计用于时序数据：TDengine专门针对时序数据设计，能够高效地存储和管理大规模的时序数据，如传感器数据、监控数据、日志数据等。

  2. 高性能：TDengine具有出色的性能，能够处理海量的时序数据，支持高并发的数据写入和查询操作。它采用了多项优化技术，包括列式存储、压缩算法、并行查询等，以提高数据处理效率和吞吐量。

  3. 分布式架构：TDengine支持分布式架构，可以部署在多个节点上构建分布式集群，实现数据的水平扩展和负载均衡。这使得TDengine能够处理更大规模的数据存储和处理需求。

  4. 实时查询：TDengine支持实时查询和分析，能够快速响应实时数据的查询请求，提供实时数据分析和可视化功能，帮助用户及时发现和解决问题。

  5. 开源社区支持：TDengine是开源软件，由一个活跃的开源社区维护和支持。用户可以从GitHub上获取最新的源代码，参与社区讨论，提出问题和建议，共同推动TDengine的发展和改进。

  6. 灵活的数据模型：TDengine提供了灵活的数据模型，能够存储不同类型和结构的时序数据，包括数字、文本、标签等，适用于多种应用场景。

TDengine缺点：

  1. 场景受限：TDengine主要针对时序数据处理场景，其SQL能力受到这一特定场景的限制，可能不适用于过于复杂的查询需求。

  2. 社区成熟度：虽然TDengine有活跃的开源社区支持，但相比于一些更成熟的数据库产品，其社区可能还不够完善，用户可能需要自行解决一些较为边缘或特定的问题。

  3. 文档和资料：由于TDengine是一个相对较新的时序数据库产品，其官方文档和相关资料可能还不够丰富，这可能会增加用户学习和使用的难度。

总的来说，TDengine作为一个专门针对时序数据设计的开源时序数据库，具有高性能、分布式架构、实时查询等显著优点，但在一些特定场景下可能存在一定的限制。用户在使用时需要根据自己的需求和技术栈进行综合考虑。

配置连接池: 

    public static HikariDataSource dataSource;


    static {
        // 配置连接池
        HikariConfig config = new HikariConfig();
        config.setJdbcUrl("jdbc:TAOS-RS://192.168.60.155:6041/scada_data");
        config.setUsername("root");
        config.setPassword("taosdata");
        // 设置连接池大小和其他参数
        config.setMinimumIdle(10);
        config.setMaximumPoolSize(60);
        config.setIdleTimeout(60000);
        config.setConnectionTimeout(30000);
        config.setMaxLifetime(1800000);
        // 初始化数据源
        dataSource = new HikariDataSource(config);
    }

 单表造数据

 public static List<TaoSEntity> createTenEntities() {
        List<TaoSEntity> taoSEntities = new ArrayList<>();
        String format = LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyy-MM-dd'T'HH:mm:ss.SSS"));
        for (int i = 0; i < 10; i++) {
            String id = "id" + (i + 1);
            String tagDesc = "tagDesc_" + (i + 1);
            String value = "value_" + (i + 1);
            String tagName = "tagName_" + (i + 1);
            String replaceTime = "2023-03-02T00:00:" + (i + 1); // 假设ts是时间戳的简化形式
            taoSEntities.add(
                    TaoSEntity.builder()
                            .ts(format)
                            .id(id)
                            .tagDesc(tagDesc)
                            .tagName(tagName)
                            .value(value)
                            .replaceTime(replaceTime)
                            .build());
        }
        return taoSEntities;
    }

单表批量插入

    public static void batchInserts(String eqpCode, List<TaoSEntity> taoSEntities) throws SQLException {
        Connection connection = null;
        PreparedStatement preparedStatement = null;
        try {
            connection = dataSource.getConnection();
            // 注意：确保你的数据库表名和列名与这里的SQL匹配
            String sql = String.format("INSERT INTO `scada_data`.`eqpCode_%s` USING scada_data.master_table TAGS(?) VALUES (?, ?, ?, ?, ? ,?)", eqpCode);
            preparedStatement = connection.prepareStatement(sql);

            // 启用批处理
            connection.setAutoCommit(false);

            for (TaoSEntity taoSEntity : taoSEntities) {
                preparedStatement.setString(1, taoSEntity.getTagName()); 
                preparedStatement.setString(2, taoSEntity.getTs()); 
                preparedStatement.setString(3, taoSEntity.getId()); 
                preparedStatement.setString(4, taoSEntity.getTagDesc()); 
                preparedStatement.setString(5, taoSEntity.getValue()); 
                preparedStatement.setString(6, taoSEntity.getTagName()); 
                preparedStatement.setString(7, taoSEntity.getReplaceTime()); 
                // 添加到批处理中
                preparedStatement.addBatch();
            }

            // 执行批处理
            int[] updateCounts = preparedStatement.executeBatch();

            // 提交事务
            connection.commit();

            // 可以检查updateCounts以验证每条插入语句的结果
        } catch (SQLException e) {
            // 如果发生异常，回滚事务
            if (connection != null) {
                connection.rollback();
            }
            throw e; // 重新抛出异常
        } finally {
            // 关闭资源，避免泄露
            if (preparedStatement != null) {
                preparedStatement.close();
            }
            if (connection != null && !connection.isClosed()) {
                connection.close();
            }
        }
    }

运行: 

    public static void main(String[] args) throws SQLException {

        List<TaoSEntity> tenEntities = createTenEntities();
        batchInserts("test", tenEntities);

//        HashMap<String, List<TaoSEntity>> tenEntitieMap = createTenEntitieMap();
//        batchInsertManyTables(tenEntitieMap);
        //query();

    }

多变插入造数据:

 public static HashMap<String, List<TaoSEntity>> createTenEntitieMap() {
        HashMap<String, List<TaoSEntity>> stringListHashMap = new HashMap<>();

        for (int i = 5000; i < 5002; i++) {
            String format = LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyy-MM-dd'T'HH:mm:ss.SSS"));
            List<TaoSEntity> taoSEntities = new ArrayList<>();
            for (int j = 0; j < 10; j++) {

                String id = "id" + (j + 1);
                String tagDesc = "tagDesc_" + (j + 1);
                String value = "value_" + (j + 1);
                String tagName = "tagName_" + (j + 1);
                String replaceTime = "2023-03-02T00:00:" + (j + 1); 
                taoSEntities.add(
                        TaoSEntity.builder()
                                .ts(format)
                                .id(id)
                                .tagDesc(tagDesc)
                                .tagName(tagName)
                                .value(value)
                                .replaceTime(replaceTime)
                                .build());
            }
            int i1 = 10001 + i;
            stringListHashMap.put(String.valueOf(i1), taoSEntities);
        }


        return stringListHashMap;
    }

多表批量插入

  public static void batchInsertManyTables(HashMap<String, List<TaoSEntity>> param) throws SQLException {
        Connection connection = null;
        PreparedStatement preparedStatement = null;
        try {
            connection = dataSource.getConnection();
            String sql = String.format("INSERT INTO `scada_data`.`eqpCode_?` USING scada_data.master_table TAGS(?) VALUES (?, ?, ?, ?, ? ,?)");
            preparedStatement = connection.prepareStatement(sql);

            // 启用批处理
            connection.setAutoCommit(false);

            Set<Map.Entry<String, List<TaoSEntity>>> entries = param.entrySet();
            for (Map.Entry<String, List<TaoSEntity>> kv : entries) {
                String eqpCode = kv.getKey();
                String format = LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyy-MM-dd'T'HH:mm:ss.SSS"));
                preparedStatement.setString(1, eqpCode);
                for (TaoSEntity taoSEntity : kv.getValue()) {
                    preparedStatement.setString(2, taoSEntity.getTagName()); 
                    preparedStatement.setString(3, format);
                    preparedStatement.setString(4, taoSEntity.getId());
                    preparedStatement.setString(5, taoSEntity.getTagDesc());
                    preparedStatement.setString(6, taoSEntity.getValue()); 
                    preparedStatement.setString(7, taoSEntity.getTagName());
                    preparedStatement.setString(8, taoSEntity.getReplaceTime());
                    // 添加到批处理中
                    preparedStatement.addBatch();
                }

            }
            // 执行批处理
            int[] updateCounts = preparedStatement.executeBatch();

            // 提交事务
            connection.commit();

            // 可以检查updateCounts以验证每条插入语句的结果
        } catch (SQLException e) {
            // 如果发生异常，回滚事务
            if (connection != null) {
                connection.rollback();
            }
            throw e; // 重新抛出异常
        } finally {
            // 关闭资源，避免泄露
            if (preparedStatement != null) {
                preparedStatement.close();
            }
        }
    }

 运行:

    public static void main(String[] args) throws SQLException {

//        List<TaoSEntity> tenEntities = createTenEntities();
//        batchInserts("test", tenEntities);

        HashMap<String, List<TaoSEntity>> tenEntitieMap = createTenEntitieMap();
        batchInsertManyTables(tenEntitieMap);
        //query();

    }

Complex。
关注
4万字长文：TDengine 100道面试题及参考答案
大模型大数据攻城狮的专栏
04-20 1万+
TDengine是由涛思数据（TaosData）开发的一款开源、高性能、分布式时序数据库。它专为处理时间序列数据而设计，尤其适用于物联网（IoT）、车联网、工业互联网、金融等领域，这些场景下的数据具有明显的时序特性，如数据点持续生成、数据量大、对实时性要求高。TDengine主要用于需要高效存储、快速检索和实时分析时间序列数据的场景。例如，在工业互联网中，TDengine可以用来收集和分析传感器数据，以实现设备的实时监控和预测性维护。在智能电网管理中，它可以用于记录和分析电力消耗模式。
TDengine 如何批量插入？
慢慢来
07-13 6252
【本文正在参与 “拥抱开源 | 涛思数据 TDengine有奖征稿】拥抱开源 涛思数据 TDengine有奖征稿活动-优快云 链接：https://marketing.youkuaiyun.com/p/0ada836ca30caa924b9baae0fd33857c 文章目录正常插入批量插入解决错误查询官方文档常见问题官方文档连接器官方文档高效写入数据官方文档最终结论修改后的代码       最近在使用涛思旗下tdengine数据库的时候，因为需求，需要
时序数据库Tdengine 批量插入避免因为主键ts时间重复导致数据被覆盖掉
qq_22905801的博客
01-25 2006
使用now() + #{index}a 其中那这个 #{index}是标签里的循环出来的index。
TDengine 超级表
最新发布
Made In SQL
05-27 1117
TDengine超级表操作指南摘要：本文介绍了TDengine数据库超级表（STable）的创建、查看、修改和删除操作。超级表可包含最多4096列（含标签列），支持复合主键和列压缩。创建语句涵盖列定义、标签规范及表选项。通过SHOW/DESCRIBE命令可查看超级表结构，ALTER支持增删改列和标签操作。注意：标签修改会级联影响所有子表，删除超级表会同步删除其子表及数据。查询时需注意返回顺序问题，除标签值更新外，所有标签操作仅能在超级表层面执行。（149字）
TDengine实现多表批量插入
weixin_43888181的博客
07-30 1518
TDengine实现多表批量插入 有问题欢迎一起讨论 Mapper类 @Mapper public interface WavePixelMapper { int addSpo2MapBatch(@Param("spo2List") List<WavePixelDataDo> spo2List, @Param("respList") List<WavePixelDataDo> respList,
EMQX Enterprise 4.4.12&4.4.13 发布：集群负载重平衡、TDengine 3.0 适配以及子表批量插入
emqx_broker的博客
01-05 623
EMQX Enterprise 4.4.12与4.4.13版本发布：集群负载重平衡与节点疏散功能为运维人员提供更灵活的集群管理方式，适配TDengine 3.0版本并新增分表批量插入功能，以提供更高的数据集成吞吐。
TDengine 入门教程⑨——基于SpringBoot 框架和Druid 连接池的TDengine Demo示例
09-13 4919
TDengine 入门教程⑧——基于SpringBoot 框架和Druid 连接池的TDengine Demo示例
TDengine 基于SpringBoot 框架和Druid 连接池的TDengine Demo示例
专注基础架构领域
05-29 2503
因为其每次执行数据库读写，都需要打开和关闭数据库连接。最简单的JDBC demo已经能实现基本功能，但是细节上并不完善。TDengine 官方提供的示例程序源码位于。接口，初始化数据库，随机插入20条数据。配置文件修改ok后，即可运行启动。通过ApiPost6工具请求接口。接口，查询当前数据库有多少条数据。Controller控制层。以此接口为例，浅谈程序源码。连接池之外，我们还需要。接口，数据库数据写入。最为全面，没有短板。Service服务层。
SpringBoot集成TDengine程序Demo
08-24
它支持时序数据的批量插入，可以极大地提高数据写入性能，并且具备强大的聚合计算能力，适合处理大规模传感器数据。 **2. SpringBoot介绍** SpringBoot是基于Spring框架的一个轻量级开发工具，它简化了Spring应用的...
在几十万条数据中判断温度压力液位更新还是插入
03-08
- **连接池配置**：维持20-50个数据库连接 - **异步处理**：通过消息队列削峰填谷 4. **数据过滤策略** ```python # 在应用层进行变化阈值过滤 if abs(new_value - old_value) > threshold: execute_update()...
重拾机制是否有效？当你正在重试时，消息又来了，还是去调插入语句，而这时重试还在重试中，占用了插入
02-18
用户之前已经得到了关于使用批量写入、连接池、重试机制等建议，现在他们关心的是重试机制的有效性以及在重试过程中新消息到达时的处理方式。用户担心在重试期间，新的插入请求可能被阻塞，或者资源被占用，进而导致...
void MainWindow::writeToDatabase() { // 创建数据库连接 QSqlDatabase *db = new QSqlDatabase(QSqlDatabase::addDatabase("QMYSQL")); db->setHostName("localhost"); db->setDatabaseName("qtmysql"); db->setUserName("root"); db->setPassword("109815"); if(!db->open()) { QString error = db->lastError().text(); qDebug() << "MySQL连接失败:" << error; QMessageBox::critical(this, "数据库错误", "连接失败: " + error); // 弹窗提示 } else { qDebug() << "MySQL连接成功！"; } QString test_results = "Color Blind: Moderate"; if(myusername.isEmpty() || myaccount.isEmpty()) { QMessageBox::warning(this, "错误", "用户未登录，无法写入数据库！"); return; } QSqlQuery query; // 插入数据 query.prepare("UPDATE test_results SET result = :result WHERE account = :account AND username = :username"); query.bindValue(":account", myaccount); query.bindValue(":username", myusername); query.bindValue(":result", test_results); if(query.exec()) { QMessageBox::information(this, "成功", "测试结果已保存！"); } else { QMessageBox::critical(this, "错误", "数据写入失败: " + query.lastError().text()); } db->close(); // 关闭数据库 }我的代码是这样的
03-13
2. **批量插入优化**： ```cpp // 适用于传感器时序数据（类似引用[2]场景） query.prepare("INSERT INTO sensor_data (device_id, value) VALUES (?, ?)"); QVariantList deviceIds, values; // ...填充数据.....
TDengine插入数据tags对不上插入数据
weixin_49369316的博客
03-07 1344
TDengine通过超级表插入数据到子表中。
tdengine超级表创建
a843013383的博客
07-18 1931
执行后会新增一张z100 表 并且在superTable里面新增一条子表数据。tdengine有官网文档，这里就把实际使用的SQL贴出来吧。执行SQL后会创建一个叫superTable的超级表。之后批量新增就参考官方文档吧，写的很全。
TDengine 最大亮点超级表
TDengine(老段）专注时序数据库领域
03-01 1493
TDengine 数据库根据时序数据库采集设备数据特点，提出了超级表及子表概念。超级表完美实现了一类设备一超级表，一个设备一张子表数据模型，模型简单易用、性能好、压缩率高。 超级表可理解为一个模板，超级表上不存储实际数据，所有数据存储在子表中。 超级表的标签（TAG）是用于记录子表属性的，可形象理解为在每台设备上粘上的标签，标签上写有字，那个字可理解为标签值，标签是红色的还是黄色的可理解为标签名，所以标签是来描述子表属性的。 一个数据库中没有限制创建超级表的数量，但超级表不宜过多，要尽可能把今后频繁在
谈谈tdengine的超级表设计
johnhuster的专栏
09-26 5283
tdengine是国内涛思数据开源的一款高性能时序数据库，尤其针对物联网应用领域，大部分采用C++语言开发，所以不存在类似cassandra的GC问题，涛思官网对自家产品与其他几款时序数据库做了比较详尽的性能对比，tdengine在很多方面性能都远超其他竞品，tdengine之所以快有开发语言问题，更多的是其在多方面的优化，比如一设备一表的设计，这种设计不管是读取还是插入都会有不同程度的性能提升，所以性能对比多少有那么一点点取巧的感觉。 好了，进入今天的正题，说说tdeng...
【TDengine】详解 SQL 写入操作步骤
Fanjufei的博客
03-22 1444
delete ------ 是逐行删除速度极慢，不适合大量数据删除。
解决HikariCP连接池提示TDengine ERROR (8000000b)问题
知易行难
10-08 2001
HikariCP连接池结合TDengine使用，科学设置HikariCP的max-lifetime配置项
听说你还没有真正理解 TDengine 的超级表 STable
Cocktail_py的博客
05-08 2727
STable 是同一类型数据采集点的抽象，是同类型采集实例的集合。每个 STable 包含多张数据结构一样的子表，并为其子表定义了表结构和一组标签：表结构即表中记录的数据列及其数据类型；标签名和数据类型由 STable 定义，标签值记录着每个子表的静态信息，用于对子表进行分组过滤。子表本质上就是普通的表，由一个时间戳主键和若干个数据列组成，每行记录着具体的数据，数据查询操作与普通表完全相同；但子表与普通表的区别在于每个子表从属于一张超级表，并带有一组由 STable 定义的标签值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值