Liquibase：数据库变更版本控制工具 CI/CD

Liquibase：数据库变更版本控制工具 CI/CD

在现代软件开发中，数据库变更管理一直是一个挑战。开发团队需要一种可靠的方式来跟踪、管理和应用数据库变更，确保不同环境之间的一致性。本文将深入介绍Liquibase这一强大的数据库版本控制工具，并通过实际示例展示其使用方法。

1. Liquibase简介

Liquibase是一个开源的数据库版本控制工具，它通过日志文件的形式记录数据库的变更，然后执行这些变更，将数据库更新或回滚到一致的状态。Liquibase支持多种数据库类型，包括MySQL、PostgreSQL、Oracle、SQL Server等。

1.1 核心优势

• 版本控制：像代码一样管理数据库变更
• 多环境支持：同一套变更脚本可在不同环境中执行
• 回滚支持：出问题时可以回滚到以前的版本
• 多格式支持：支持XML、YAML、JSON和SQL等多种格式
• 自动化集成：易于集成到CI/CD流程中

2. 核心概念

在深入使用Liquibase之前，我们需要了解几个核心概念：

• Changelog：记录所有数据库变更的主文件
• Changeset：变更的最小单元，通过author和id来唯一标识
• DATABASECHANGELOG表：Liquibase在数据库中创建的表，用于跟踪已执行的变更
• DATABASECHANGELOGLOCK表：用于防止多个Liquibase实例同时运行

3. 安装与配置

3.1 安装Liquibase

1. 从Liquibase官网下载最新版本
2. 解压到本地目录
3. 将Liquibase的bin目录添加到系统PATH环境变量

3.2 准备数据库驱动

Liquibase需要相应的数据库驱动程序才能连接到目标数据库。例如，对于MySQL，需要下载mysql-connector-java.jar并放在Liquibase的lib目录下。

3.3 创建liquibase.properties文件

在项目根目录下创建liquibase.properties文件，配置数据库连接信息：

# 数据库连接URL
url=jdbc:mysql://localhost:3306/test_db?useSSL=false
# 数据库用户名
username=root
# 数据库密码
password=password
# 驱动类
driver=com.mysql.cj.jdbc.Driver
# 日志文件路径
changeLogFile=db/changelog/db.changelog-master.xml

4. 实战演示

下面我们将通过一个实际示例来演示Liquibase的使用。我们将创建一个简单的用户管理系统的数据库结构。

4.1 创建项目结构

project-root/
├── liquibase.properties
├── db/
│   └── changelog/
│       ├── db.changelog-master.xml
│       ├── changes/
│       │   ├── 001-create-users-table.sql
│       │   ├── 002-add-email-column.sql
│       │   └── 003-create-roles-table.xml

4.2 创建主Changelog文件

首先，创建主changelog文件db/changelog/db.changelog-master.xml：

<?xml version="1.0" encoding="UTF-8"?>
<databaseChangeLog
        xmlns="http://www.liquibase.org/xml/ns/dbchangelog"
        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
        xsi:schemaLocation="http://www.liquibase.org/xml/ns/dbchangelog
                      http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-4.5.xsd">
    
    <!-- 引入SQL变更文件 -->
    <include file="changes/001-create-users-table.sql" relativeToChangelogFile="true"/>
    <include file="changes/002-add-email-column.sql" relativeToChangelogFile="true"/>
    
    <!-- 引入XML变更文件 -->
    <include file="changes/003-create-roles-table.xml" relativeToChangelogFile="true"/>
</databaseChangeLog>

4.3 创建SQL格式的Changeset

创建第一个变更文件db/changelog/changes/001-create-users-table.sql：

--liquibase formatted sql

--changeset author:john.doe id:001
--comment: 创建用户表
CREATE TABLE users (
    id INT AUTO_INCREMENT PRIMARY KEY,
    username VARCHAR(50) NOT NULL UNIQUE,
    password VARCHAR(100) NOT NULL,
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);
--rollback DROP TABLE users;

--changeset author:john.doe id:002
--comment: 添加初始用户数据
INSERT INTO users (username, password) VALUES ('admin', 'admin123');
--rollback DELETE FROM users WHERE username = 'admin';

创建第二个变更文件db/changelog/changes/002-add-email-column.sql：

--liquibase formatted sql

--changeset author:jane.smith id:003
--comment: 添加email字段到用户表
ALTER TABLE users ADD COLUMN email VARCHAR(100);
--rollback ALTER TABLE users DROP COLUMN email;

--changeset author:jane.smith id:004
--comment: 添加email字段的唯一索引
CREATE UNIQUE INDEX idx_user_email ON users(email);
--rollback DROP INDEX idx_user_email ON users;

4.4 创建XML格式的Changeset

创建第三个变更文件db/changelog/changes/003-create-roles-table.xml：

<?xml version="1.0" encoding="UTF-8"?>
<databaseChangeLog
        xmlns="http://www.liquibase.org/xml/ns/dbchangelog"
        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
        xsi:schemaLocation="http://www.liquibase.org/xml/ns/dbchangelog
                      http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-4.5.xsd">

    <changeSet id="005" author="john.doe">
        <comment>创建角色表</comment>
        <createTable tableName="roles">
            <column name="id" type="int" autoIncrement="true">
                <constraints primaryKey="true" nullable="false"/>
            </column>
            <column name="name" type="varchar(50)">
                <constraints nullable="false" unique="true"/>
            </column>
            <column name="description" type="varchar(200)"/>
        </createTable>
        <rollback>
            <dropTable tableName="roles"/>
        </rollback>
    </changeSet>

    <changeSet id="006" author="john.doe">
        <comment>创建用户角色关联表</comment>
        <createTable tableName="user_roles">
            <column name="user_id" type="int">
                <constraints nullable="false"/>
            </column>
            <column name="role_id" type="int">
                <constraints nullable="false"/>
            </column>
        </createTable>
        <addPrimaryKey tableName="user_roles" columnNames="user_id, role_id"/>
        <addForeignKeyConstraint baseTableName="user_roles" baseColumnNames="user_id"
                                 constraintName="fk_user_roles_user"
                                 referencedTableName="users" referencedColumnNames="id"
                                 onDelete="CASCADE"/>
        <addForeignKeyConstraint baseTableName="user_roles" baseColumnNames="role_id"
                                 constraintName="fk_user_roles_role"
                                 referencedTableName="roles" referencedColumnNames="id"
                                 onDelete="CASCADE"/>
        <rollback>
            <dropTable tableName="user_roles"/>
        </rollback>
    </changeSet>

    <changeSet id="007" author="jane.smith">
        <comment>添加基础角色数据</comment>
        <insert tableName="roles">
            <column name="name" value="ADMIN"/>
            <column name="description" value="Administrator"/>
        </insert>
        <insert tableName="roles">
            <column name="name" value="USER"/>
            <column name="description" value="Regular User"/>
        </insert>
        <rollback>
            <delete tableName="roles">
                <where>name in ('ADMIN', 'USER')</where>
            </delete>
        </rollback>
    </changeSet>
</databaseChangeLog>

4.5 运行Liquibase

运行以下命令来应用变更：

liquibase update

运行结果类似：

Running Changeset: db/changelog/changes/001-create-users-table.sql::001::john.doe
Running Changeset: db/changelog/changes/001-create-users-table.sql::002::john.doe
Running Changeset: db/changelog/changes/002-add-email-column.sql::003::jane.smith
Running Changeset: db/changelog/changes/002-add-email-column.sql::004::jane.smith
Running Changeset: db/changelog/changes/003-create-roles-table.xml::005::john.doe
Running Changeset: db/changelog/changes/003-create-roles-table.xml::006::john.doe
Running Changeset: db/changelog/changes/003-create-roles-table.xml::007::jane.smith
Liquibase command 'update' was executed successfully.

4.6 查看执行状态

执行完成后，可以查看数据库中的DATABASECHANGELOG表，了解已经执行的变更：

SELECT * FROM DATABASECHANGELOG;

4.7 回滚变更

如果需要回滚到特定版本，可以使用：

# 回滚所有变更
liquibase rollbackCount 7

# 回滚到特定标签
liquibase tag v1.0
liquibase rollback v1.0

# 回滚到特定日期
liquibase rollbackDate 2023-01-01

5. Spring Boot集成Liquibase

在Spring Boot项目中集成Liquibase非常简单。

5.1 添加依赖

在pom.xml中添加以下依赖：

<dependency>
    <groupId>org.liquibase</groupId>
    <artifactId>liquibase-core</artifactId>
</dependency>

5.2 配置application.properties

spring.liquibase.change-log=classpath:db/changelog/db.changelog-master.xml
spring.liquibase.enabled=true
spring.liquibase.drop-first=false

5.3 项目结构

src/main/resources/
└── db/
    └── changelog/
        ├── db.changelog-master.xml
        ├── changes/
        │   ├── 001-create-users-table.sql
        │   ├── 002-add-email-column.sql
        │   └── 003-create-roles-table.xml

Spring Boot启动时会自动运行Liquibase，应用所有未执行的变更。

6. 高级功能

6.1 条件执行

Liquibase支持根据条件执行变更：

<changeSet id="008" author="john.doe" runOnChange="true">
    <preConditions onFail="MARK_RAN">
        <tableExists tableName="users"/>
        <columnExists tableName="users" columnName="email"/>
    </preConditions>
    <!-- 变更内容 -->
</changeSet>

6.2 自定义SQL

除了使用Liquibase的XML标签，还可以直接执行自定义SQL：

<changeSet id="009" author="jane.smith">
    <sql>
        UPDATE users SET email = CONCAT(username, '@example.com') WHERE email IS NULL;
    </sql>
    <rollback>
        <sql>
            UPDATE users SET email = NULL WHERE email LIKE '%@example.com';
        </sql>
    </rollback>
</changeSet>

6.3 标签管理

使用标签来标记特定版本，方便后续回滚：

liquibase tag v1.0

6.4 数据库比较和差异生成

Liquibase可以比较两个数据库并生成变更脚本：

liquibase diff \
  --referenceUrl=jdbc:mysql://localhost:3306/reference_db \
  --referenceUsername=root \
  --referencePassword=password \
  --url=jdbc:mysql://localhost:3306/target_db \
  --username=root \
  --password=password \
  --diffTypes="tables,views,columns,indexes,foreignkeys,primarykeys,uniqueconstraints" \
  --changeLogFile=diff-changelog.xml

7. 最佳实践

7.1 版本控制

• 将changelog文件纳入版本控制系统(如Git)
• 不要修改已提交到版本控制的changeset
• 按照功能或时间为changeset命名

7.2 组织Changelog

• 为每个版本或功能创建单独的changelog文件
• 使用主changelog文件引入所有子changelog
• 根据逻辑相关性组织changeset

7.3 自动化集成

• 在CI/CD管道中集成Liquibase
• 在发布前在测试环境验证变更
• 使用preconditions防止在不适当的环境中执行变更

7.4 权限控制

• 为开发、测试和生产环境使用不同的数据库用户
• 仅在生产环境中使用具有必要权限的受限用户

8. 总结

Liquibase为数据库版本控制提供了强大且灵活的解决方案。通过将数据库变更作为代码进行管理，开发团队可以更可靠地跟踪、应用和回滚数据库变更，大大降低了跨环境部署的风险。

在现代DevOps实践中，Liquibase已成为数据库CI/CD不可或缺的工具，特别适合微服务架构和敏捷开发方法。通过本文的示例，您应该能够开始在项目中使用Liquibase，并充分利用其强大的功能来管理数据库变更。

参考资料

1. Liquibase官方网站
2. Liquibase介绍,liquibase这一篇就够了
3. Liquibase：数据库版本控制利器

觉得有用的话可以点点赞 (/ω＼)，支持一下。

如果愿意的话关注一下。会对你有更多的帮助。

每周都会不定时更新哦 >人< 。