使用 Testcontainers 轻松集成 Databend 测试环境

聊聊如何利用Testcontainers进行集成测试 1、何为Testcontainers?Testcontainers是一个库,它为引导本地开发和测试依赖关系提供了简单而轻量级的API,并将真实的服务封装在Docker容器中。使用Testcontainers,您可以编写依赖于您在生产中使用的相同服务的测试,而不需要mock或内存服务。用比较直白的话就是testcontainers 能够让你实现通过编程语言去启动Docker容器,并在程序测试结束后,自动关闭容器2、Testcontainers有哪些优势? 阅读详情

作者:韩山杰 Databend Cloud 研发工程师 hantmac (Jeremy) · GitHub

Testcontainers 是一个开源库,用于提供一次性的、轻量级的数据库实例、消息代理、网络浏览器,或者任何可以在 Docker 容器中运行的服务。

其核心特点是:
  • 一次性:测试完成后可以直接丢弃
  • 轻量级:启动快速,资源占用少
  • 基于 Docker:利用容器技术实现隔离
主要可以用到以下场景:
  • 数据库测试:MySQL、PostgreSQL、MongoDB 等
  • 消息队列测试:RabbitMQ、Kafka 等
  • 浏览器自动化测试
  • 任何可容器化的服务测试

使用 TestContainers 构建测试用例可以避免测试环境污染,保证测试环境一致性,简化测试配置的同时并提高测试可靠性。

这个工具特别适合需要依赖外部服务的测试场景,能够快速创建隔离的测试环境。

Support Databend for Testcontainers

Databend 团队分别在 testcontainer-java, testcontainers-go, testcontainers-rs 的 PR 中为三种主流编程语言完整地支持了 Databend 数据源,这意味着开发者可以在这些语言的项目中轻松集成 Databend 的测试环境。

准备工作
  • 确保操作环境中已安装 Docker。
  • 已安装 Java、Go 以及 Rust 的开发环境

Java

依赖配置

我们首先新建一个 Java Demo 项目,这里以 Maven 为例,在 pom.xml 中添加 Databend 的 testcontainers 和 databend-jdbc 的依赖:

 <dependencies>
        <dependency>
            <groupId>org.testcontainers</groupId>
            <artifactId>databend</artifactId>
            <version>1.20.4</version>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>com.databend</groupId>
            <artifactId>databend-jdbc</artifactId>
            <version>0.2.8</version>
        </dependency>
    </dependencies>

如果是 Gradle 可以使用:

testImplementation "org.testcontainers:databend:1.20.4"
新建测试类

我们新建一个 TestContainerDatabend 的测试类并为其创建构造方法:

public class TestContainerDatabend {
    private final DatabendContainer dockerContainer;

    public TestContainerDatabend() {
        dockerContainer = new DatabendContainer("datafuselabs/databend:v1.2.615");
        dockerContainer.withUsername("databend").withPassword("databend").withUrlParam("ssl", "false");
        dockerContainer.start();
    }
  }

可以看到在代码中我们指定了 datafuselabs/databend:v1.2.615 作为 Databend 启动的 docker image(选择其他版本的 image 可以访问:https://hub.docker.com/r/datafuselabs/databend),并为本次启动的 Databend 设置了用户名、密码,随后我们立即启动容器服务。 我们使用该服务完成本次测试用例:

......
    @Test
    public void testSimple() {
        try (Connection connection = DriverManager.getConnection(getJdbcUrl())) {
            DatabendStatement statement = (DatabendStatement) connection.createStatement();
            statement.execute("SELECT 1");
            ResultSet r = statement.getResultSet();
            while (r.next()) {
                int resultSetInt = r.getInt(1);
                System.out.println(resultSetInt);
                assert resultSetInt == 1;
            }
        } catch (Exception e) {
            throw new RuntimeException("Failed to execute statement: ", e);
        }
    }

    public String getJdbcUrl() {
        return format("jdbc:databend://%s:%s@%s:%s/",
                dockerContainer.getUsername(),
                dockerContainer.getPassword(),
                dockerContainer.getHost(),
                dockerContainer.getMappedPort(8000));
    }

运行测试的同时我们可以在系统看到 testcontainers 为我们启动了一个 Databend 容器服务: 

 当测试结束后会立即销毁该容器释放资源。

除了 Databend 之外,Testcontainers 支持市面上绝大多数的数据库、消息队列,可以轻松构建依赖这些资源的测试集。

完整的项目代码可以参考 testcontainers-databend。

Go

同样地,在 Golang 项目中如果需要用到 Databend 服务,也可以使用 testcontainers-go。

package main

import (
    "context"
    "database/sql"
    "testing"

    _ "github.com/datafuselabs/databend-go"
    "github.com/stretchr/testify/require"

    "github.com/testcontainers/testcontainers-go"
    "github.com/testcontainers/testcontainers-go/modules/databend"
)

func TestDatabend(t *testing.T) {
    ctx := context.Background()

    ctr, err := databend.Run(ctx, "datafuselabs/databend:v1.2.615")
    testcontainers.CleanupContainer(t, ctr)
    require.NoError(t, err)

    // perform assertions
    connectionString, err := ctr.ConnectionString(ctx, "sslmode=disable")
    require.NoError(t, err)

    mustConnectionString := ctr.MustConnectionString(ctx, "sslmode=disable")
    require.Equal(t, connectionString, mustConnectionString)

    db, err := sql.Open("databend", connectionString)
    require.NoError(t, err)
    defer db.Close()

    err = db.Ping()
    require.NoError(t, err)

    _, err = db.Exec("CREATE TABLE IF NOT EXISTS a_table ( \n" +
        " `col_1` VARCHAR(128) NOT NULL, \n" +
        " `col_2` VARCHAR(128) NOT NULL \n" +
        ")")
    require.NoError(t, err)
}

Rust

Databend 原本就是使用 Rust 写的,当然可以在 Rust 项目中使用 testcontainer-rs 来快速启动一个 Databend 容器服务。

#[cfg(test)]
mod tests {
    use databend_driver::Client;

    use crate::{databend::Databend as DatabendImage, testcontainers::runners::AsyncRunner};

    #[tokio::test]
    async fn test_databend() {
        let databend = DatabendImage::default().start().await.unwrap();
        let http_port = databend.get_host_port_ipv4(8000).await.unwrap();
        // "databend://user:password@localhost:8000/default?sslmode=disable
        let dsn = format!(
            "databend://databend:databend@localhost:{}/default?sslmode=disable",
            http_port
        );
        let client = Client::new(dsn.to_string());
        let conn = client.get_conn().await.unwrap();
        let row = conn.query_row("select 'hello'").await.unwrap();
        assert!(row.is_some());
        let row = row.unwrap();
        let (val,): (String,) = row.try_into().unwrap();
        assert_eq!(val, "hello");

        let conn2 = conn.clone();
        let row = conn2.query_row("select 'world'").await.unwrap();
        assert!(row.is_some());
        let row = row.unwrap();
        let (val,): (String,) = row.try_into().unwrap();
        assert_eq!(val, "world");
    }
}

结论

对于现代软件开发而言,可靠的测试框架和工具链是保证代码质量的重要基石。随着 Databend 对 Testcontainers 的多语言支持的完善,开发者能够更加便捷地进行数据库相关的集成测试,从而提升整体的开发效率和代码质量。

无论是使用 Java、Go 还是 Rust,Testcontainers 都能为 Databend 开发者的测试工作提供可靠的支持。我们期待看到更多开发者在实际项目中运用这一强大的测试工具,构建更加稳健的应用系统。

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

👨‍💻‍ Databend Cloud:databend.cn

📖 Databend 文档:docs.databend.cn/

💻 Wechat:Databend

✨ GitHub:github.com/databendlab...

Spring项目遇上Testcontainers:让集成测试轻松起飞 Testcontainers是一个开源的Java库,为JUnit测试提供轻量级的、一次性的Docker容器实例。这些容器实例可以包含常见的数据库、Selenium Web浏览器,或任何可以在Docker容器中运行的服务。通过使用Testcontainers,可以在隔离的环境中运行测试,从而避免了对本地环境或第三方服务的依赖。Testcontainers的核心理念是简化集成测试的过程,能够专注于测试逻辑本身,而不是花费大量时间在测试环境的配置和管理上。 阅读详情

相关推荐

万字长文带你快速了解并上手Testcontainers

前言         前段时间,我负责在所属的一个团队内部去推动一项叫做“Testcontainers”的技术。于是在调研并打磨了数天之后,就诞生下文。希望看完本篇文章的你,能够有所收获,感谢阅读!          1. 技术的演进 1.1 传统的测试        &nbs

大数据梦想家 3417

SpringBoot单元测试神器Testcontainers

SpringBoot单元测试神器Testcontainers,使用docker容器的方式不依赖于环境,无需mock数据库,快速实现单元测试,提高单元测试覆盖率

qq_37321134的博客 2072

什么是 Testcontainers?

是一个支持多种编程语言(包括 Java, Python, Go, .NET, Rust 等)的开源库。在自动化测试中,以编程方式按需创建和销毁一次性的、轻量级的 Docker 容器实例。简单来说,当你的应用程序需要与外部依赖(如数据库、消息队列、缓存、搜索引擎等)进行交互时,Testcontainers 可以让你在测试代码中轻松地启动一个真实的、运行在 Docker 里的依赖服务,完成测试后自动清理,从而实现可靠、独立的集成测试。Testcontainers 是现代软件测试工具箱中的一件利器。

fydw_715的博客 1022

Testcontainers:一款隔离测试数据的测试工具

Testcontainers 是一个Python库,它利用 Docker 引擎创建临时容器,这些容器可以运行数据库实例、Selenium 浏览器或其他任何在测试期间应用程序可能需要交互的服务。它在 Docker 容器中提供轻量级的数据库实例。这种方法允许用户创建一个隔离的测试环境,这对于实现本地测试至关重要。每个测试都与一个全新的数据库实例交互,确保测试隔离。使用 Testcontainers 的另一个关键好处是它能够对数据库进行自动化设置和清理。

所寫即所思|一个阿里质量人对测试的所感所悟。 2338

【论文笔记】Beyond Low-frequency Information in Graph Convolutional Networks

文章目录1. Abstract2. Introduction低频和高频信号作用FAGCN怎么设计3. An Experimental Investigation4. Model4.1 filter定义4.2 Aggregation4.3 Problems of signal combination4.4 Spatial vision of FAGCN4.5 系数αijG\alpha_{i j}^{G}αijG​4.6 模型整体框架FAGCN的表达能力实验 本文发表在AAAI-21上 论文地址:https:

Running Snail 5605

从Oracle迁移数据到Hadoop

目标:把Oracle 下的数据文件迁移到 Hadoop , 数据表都是上亿条,每个数据表的空间都超过100G。 关键是建立数据文件是UTF8格式,这样数据中的汉字在Hadoop 里显示才正常。 平台:CentOS 6.10 工具:Python 2.7 cx_Oracle 库 Oracle10.2.0.4.0 Hadoop 2.7.2-transwarp-5.2.1 1. 查看表...

预则立 4238

简化集成测试的利器TestContainers

本文介绍了TestContainers工具,它简化了集成测试流程,通过轻松启动和管理Docker容器,如MySQL、Redis等,为测试提供了灵活的解决方案。文章详细阐述了TestContainers的使用案例,包括配置依赖、初始化容器、容器配置、配置组件等步骤,以及执行测试的效果。

weixin_44268936的博客 1366

ENVI学习总结(十二)——基于改进的 CASA 模型反演 NPP

基于改进的 CASA 模型反演 NPP 数据为地理空间数据云提供的 TM 影像,其具体信息如图 1 所示。该实验中所使用的 TM 数据已进行过 QUAC 快速大气校正,来消除大气和光照等因素对地物反射的影响。Landsat 主题成像仪(TM)是 Landsat4 和 Landsat5 携带的传感器,每 16 天扫描同一地区,即 16 天覆盖全球一次。 TM 影像包含 7 个波段,波段 1-5 ...

Arcgiser的博客 3万+

微服务测试:TestContainers 集成测试实战指南

TestContainers通过“动态容器化服务”的理念,彻底解决了微服务集成测试中环境不一致、依赖难模拟的痛点

码刀攻城 1446

RLC电阻电容电感基础知识——电感篇

电感 等效电路 电感线圈由铜导线绕制,等效电路如图所示。 寄生电阻RS,包括了绕线电阻、引脚串联电阻以及磁芯损耗电阻三部分组成,其中绕线电阻与线径、长度、铜线电阻率有关;引脚电阻与引线长短、粗细有关;磁芯损耗电阻与磁芯材料特性有关,显然磁芯损耗电阻还与工作频率有关.寄生电容C主要是绕线圈与圈之间的杂散电容(为PF级),与绕线工艺有关。 等效导纳 显然: (1)当角频率ω(频率f)较小时,呈电感性. (2)当角频率ω等于ω0时,导纳Y虚部为0,呈现电阻性,即发生共振。令导纳Y虚部为0,即可求出共振角频率ω

azj2019的博客 1万+

网易数智CoreAgent实战:5步教你打造企业级AI数字员工(附避坑指南)

本文以网易数智CoreAgent智能体协作中枢为核心,提供了一份企业级AI数字员工的实战部署指南。文章详细拆解了从环境准备、智能体配置、业务集成、安全合规到效果评估的五个关键步骤,并分享了部署过程中的常见“避坑”经验,旨在帮助企业技术团队高效、安全地将AI智能体落地于实际业务场景,解决AI落地难题。

rice5的博客 959

TestContainer介绍

在日常开发过程中,经常会用到第三方组件或中间件,如redis,mq,db等。因为这些第三方组件的引入,测试过程会变得复杂起来。可能换了一个环境之后,因为中间件的缺失,测试用例就跑不起来了。而TestContainer可以通过和docker结合,很方便的在代码中启动docker容器,在docker容器中运行这些第三方组件,从而方便进行测试。 基本使用 以maven构建的springboot工程为例,引入依赖 <dependency> <groupId>org.testco

xiaoyi52的专栏 2626

AI故障预测系统架构设计:5个核心模块+3种主流架构,收藏这篇就够了

深夜11点,某汽车工厂的生产线突然停机——核心机器人的轴承磨损过度导致卡壳。维修人员连夜抢修,直接损失超过50万元,还延误了客户的交货期。传统的“事后维修”或“定期维护”要么代价高昂,要么防不胜防。AI故障预测系统的出现,让“精准维护”成为可能——它能通过传感器数据提前7-30天预警故障,将停机损失降低80%以上。知道要做故障预测,却不知道怎么搭系统——数据怎么采集?特征怎么提取?模型怎么部署?架构怎么选?本文将解决这些问题:我们会拆解AI故障预测系统的5个核心模块,分析3种主流架构。

AIGC应用创新大全的博客 1023

Testcontainers 深度详解:真实环境集成测试的终极解决方案

Testcontainers 是一个强大的 Java 测试库,通过 Docker 容器提供真实环境进行集成测试。核心价值包括:消除 Mock 差异、环境隔离、简化依赖管理和 CI/CD 友好性。其架构通过 Docker 守护进程动态创建和销毁容器,支持 JUnit 集成、数据库容器、应用容器等多种模块。典型应用场景如 PostgreSQL 测试,可通过简单注解启动容器并获取动态连接配置。高级功能包括容器网络管理、文件挂载以及 Docker Compose 集成,能够模拟完整的多服务环境。Testcontai

csdn_tom_168的博客 1276

Java与OSG的梦幻联动:深入编译OpenSceneGraph的Java JNI桥梁,开启3D视觉盛宴的奇幻之旅

🔥关注墨瑾轩,带你探索编程的奥秘!🚀🔥超萌技术攻略,轻松晋级编程高手🚀🔥技术宝库已备好,就等你来挖掘🚀🔥订阅墨瑾轩,智趣学习不孤单🚀🔥即刻启航,编程之旅更有趣🚀在编译OpenSceneGraph (OSG) 的Java版本时,首先需要了解OSG本身是一个主要用于3D图形和视觉仿真的开源库,它主要支持C++。然而,OSG 也支持通过JNI(Java Native Interface)与Java集成,这允许Java程序调用OSG的C++库。

java专栏 872

OFDM调制解调系统信道估计和均衡算法的MATLAB仿真

然后,从接收到的信号中提取导频序列,并使用LS算法进行信道估计。OFDM(正交频分复用)是一种常用于高速数据传输的调制技术,它将高速数据流分割成多个低速子载波,通过在不同的子载波上传输数据,实现了频域上的正交性。因此,信道估计和均衡算法在OFDM系统中起着至关重要的作用,用于减小信道衰落引起的影响。通过运行上述代码,可以进行基于LS算法的OFDM调制解调系统信道估计和均衡的MATLAB仿真。本文将介绍一种基于LS(最小二乘)算法的OFDM调制解调系统信道估计和均衡算法,并提供相应的MATLAB仿真代码。

uote_e的博客 231

什么是TestContainers?

我并没有被以上解答说服,或者说 TestContainers 适合一开始就考虑使用 TestContainers 的项目或者个人项目,如果是一个已经存在的集成测试环境,引入 TestContainers 是我无法想象改造成本和运行成本。可以说说你的看法。总结:!!作为一位过来人也是希望大家少走一些弯路,如果你不想再体验一次学习时找不到资料,没人解答问题,坚持几天便放弃的感受的话,在这里我给大家分享一些自动化测试的学习资源,希望能给你前进的路上带来帮助。软件测试。

2401_88326365的博客 1280

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

SpringBoot 使用 Testcontainers 进行容器化集成测试

Testcontainers是一个Java测试库,用于在测试中启动Docker容器。Testcontainers可以在测试运行时自动启动和停止Docker容器,并提供简单的API来访问容器中的服务。Testcontainers支持各种数据库、消息代理和其他服务,以便在测试中模拟外部依赖项。Testcontainers支持使用自定义Docker镜像启动容器。在此示例中,使用了GenericContainer来创建容器,并指定了自定义Docker镜像和端口号。

IT徐师兄 2794

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

测试-Testcontainers

Testcontainers 允许你通过自定义 Docker 容器,适用于不在官方支持列表中的服务或应用。// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }

Flying_Fish_roe的博客 1404

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Spring Boot集成testcontainers快速入门Demo

是一个用于创建临时 Docker 容器进行单元测试的 Java 库。当我们想要避免使用实际服务器进行测试时,它非常有用。,官网介绍称支持50多种组件。​编辑。

HBLOG 894

使用 TestContainers 进行数据库集成测试

在软件开发过程中,集成测试是至关重要的一环。它确保不同组件之间的协作正常,并验证系统在整体上的功能和性能。然而,传统的集成测试往往需要依赖于外部资源,如数据库、消息队列等,这给测试环境的搭建和维护带来了一定的挑战。为了解决这个问题,我们可以使用 TestContainers 这个强大的开源工具。TestContainers 提供了一种简单而强大的方式来管理和运行容器化的测试环境。它支持多种容器化技...

dotNET跨平台 188

java使用testcontainer自定义docker连接

java使用testcontainer自定义docker连接

LHFFFFF的博客 1892

SpringBoot单元测试完全指南:Mockito与Testcontainers实战技巧

在软件开发的世界里,测试是保证代码质量和稳定性的关键环节。对于Spring Boot应用程序而言,单元测试是不可或缺的一部分。Mockito和Testcontainers是两个强大的工具,它们分别在模拟对象和容器化测试方面发挥着重要作用。本文将深入介绍如何在Spring Boot项目中使用Mockito和Testcontainers进行高效的单元测试,帮助技术人员掌握相关实战技巧。

梵心白莲的博客 1092

std::reserve和std::resize的区别

std::reserve是设置容器容量的,调用该函数后,容器的capacity可能会变大或不变,但不会变小 如: vector value{ 2,3,5,7,11,13,17,19,23,29,31,37,41,43,47 }; int k = value.capacity(); value.reserve(2); int k1 = value.capacity(); 在我本机上例k、k1都为15,即和value.size()大小相等,k1并不是2,如果将.

danshiming的博客 1113

java单元/集成测试中使用Testcontainers

1.Testcontainers介绍: Testcontainers是一个Java库,它支持JUnit测试,提供公共数据库、SeleniumWeb浏览器或任何可以在Docker容器中运行的轻量级、一次性实例。 测试容器使以下类型的测试更加容易: 数据访问层集成测试: 使用MySQL,PostgreSQL或Oracle数据库的容器化实例测试您的数据访问层代码,但无需在开发人员的计算机上进行...

东溪陈姓少年 820

【Java】JDBC(Java Database connect)详解

JDBC(Java Data Base Connectivity,java数据库连接)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问,它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准,据此可以构建更高级的工具和接口,使数据库开发人员能够编写数据库应用程序。我们安装好数据库之后,我们的应用程序也是不能直接使用数据库的,必须要通过相应的数据库驱动程序,通过驱动程序去和数据库打交道。

DreamSun的博客 1534
上一篇: Databend 为什么使用 Rust 开发?
下一篇: 如何构建云原生时空大数据平台?
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值