第二十八章 CI/CD 演进：在安全与敏捷间走钢丝的发布机制

第二十八章 CI/CD 演进：在安全与敏捷间走钢丝的发布机制

本章导读：上一章搭好了服务器的地基，本章要解决"代码怎么安全地送达生产环境"。在互联网公司，CI/CD是标准基建；但在化工工业现场，每一次生产发布都像拆弹——你不能灰度发布一个报警引擎，也不能在凌晨悄悄回滚一个正在监控反应釜温度的服务。本章完整讲述从Jenkins流水线搭建、Docker镜像签名与私有Harbor治理、到跨IT/OT网闸的"离线部署包"摆渡机制，以及我们如何用"发布窗口+审批流+自动化回滚"三道保险，在安全与敏捷之间找到那条窄窄的钢丝。

​ 在项目建设初期，我们的发布流程极其原始：开发人员在本地打包生成 .jar 或 .war 文件，通过 FTP 上传到服务器，运维人员对照着一份 Word 文档，手动停服务、替换文件、执行几段复制粘贴来的 SQL 脚本，然后再重启。这种"人肉发布"模式在系统极速膨胀期引发了灾难。某次 MES 系统凌晨升级，由于某位开发漏写了一个字段的 SQL 更新，导致次日早班产线条码枪全部报错，几百名工人被迫停工等待，直接经济损失以十万计。

​ 血的教训让我们意识到：在追求 24 小时连续稳定生产的智能工厂，任何依赖"人的细心"的发布机制都是耍流氓。我们必须构建一套从代码提交到最终上线的 CI/CD（持续集成/持续交付）流水线。

一、认知升级：CI/CD 在工业场景的独特性

1. 互联网 CI/CD 与工业 CI/CD 的本质差异

在照搬互联网公司 CI/CD 实践之前，必须先厘清工业场景的独特约束，否则会在执行层面不断碰壁：

维度	互联网项目	工业互联网项目
发布频率目标	每日多次，追求持续部署	IT系统每周1-2次；OT系统每月1次或按维护窗口
下线容忍度	秒级不可用可接受	部分OT系统容忍零中断（设备不能停）
回滚速度要求	分钟级	IT系统分钟级；OT系统可能需要小时级（数据库需回退）
测试环境真实度	生产镜像即可	OT侧需要真实PLC/传感器仿真，难以完全虚拟
审批流程	自动或轻审批	变更单+多级审批（国企合规要求）
安全边界	单一网络域	IT/OT 双网络域，物理隔离
历史包袱	相对较少	大量存量系统，不支持容器，有旧版依赖

核心结论：工业互联网的 CI/CD 目标不是"最快速度部署到生产"，而是**“以最高确定性、最低业务影响将经过充分验证的包送达指定环境”**。这是两种本质不同的优化方向。

2. 发布失败的真实成本

理解发布失败的代价，是建立 CI/CD 规范的最强动力。在工业场景中，一次发布失败的代价远超互联网：

• 直接生产损失：某化工项目 MES 宕机 1 小时，按该产线产能计算，直接损失约 30 万元
• 设备损伤风险：部分工控系统宕机可能导致设备急停，对精密设备产生冲击性损伤
• 数据一致性破坏：数据库 Schema 变更不一致导致历史数据污染，重新清洗代价极高
• 信任损失：甲方对数字化系统稳定性的信任一旦动摇，后续推进极难恢复

这些代价使得我们最终的 CI/CD 架构，在"敏捷"与"安全"之间刻意向"安全"倾斜。

二、 架构设计：基于 GitLab + Jenkins 的标准化流水线

1. 核心设计原则

原则一：“代码仓库是唯一真理（Single Source of Truth）”

• 任何在代码仓库之外生成的二进制包（本地 Maven 构建、手工打包）一律禁止部署到测试环境以上
• 制品版本与 Git Tag 一一对应，不允许同一版本号覆盖发布
• 所有环境配置（Jenkinsfile、K8s Manifest、Ansible Playbook）纳入 Git 版本控制

原则二：“流水线即文档”

• 发布流程以 Jenkinsfile 代码表达，版本化存储，比 Word 文档强调审批日期更可靠
• 任何人都能通过阅读 Jenkinsfile 理解当前发布流程的每一步，无需问人

原则三：“制品不变性（Artifact Immutability）”

• 同一 Docker 镜像 Tag（如 v2.3.1）的内容绝对不允许被覆盖
• Harbor 镜像仓库开启 Tag 不可变策略（Immutable Tags）
• "更新"必须通过新 Tag 发版实现

2. 技术栈全景

┌─────────────────────────────────────────────────────────────────┐
│  代码管理层                                                      │
│  GitLab（代码仓库） + GitFlow 分支规范                          │
│  feature/* → develop → release/* → master/main                  │
├─────────────────────────────────────────────────────────────────┤
│  CI 持续集成层（每次代码推送自动触发）                          │
│  Jenkins Pipeline（Jenkinsfile）                                │
│  ├── 代码静态检查（SonarQube，阻断 Critical 及以上级漏洞）      │
│  ├── 单元测试 + 代码覆盖率（覆盖率阈值 < 60% 阻断构建）        │
│  ├── Maven/Gradle 构建（生产级 JVM 参数）                       │
│  ├── Docker 镜像构建（多阶段构建，最小化镜像体积）              │
│  └── 推送至 Harbor 私有镜像仓库                                 │
├─────────────────────────────────────────────────────────────────┤
│  制品管理层                                                      │
│  Nexus（Java Jar/依赖包）+ Harbor（容器镜像）                   │
│  版本不可变策略 + 镜像安全扫描（Trivy/Clair）                   │
├─────────────────────────────────────────────────────────────────┤
│  CD 持续交付层（分环境差异化策略）                              │
│  ├── SIT/UAT：Ansible自动化部署，Jenkins自动触发                │
│  ├── IT-PROD：OA审批回调 Jenkins，蓝绿部署                     │
│  └── OT-PROD：离线包 + 人工渡过网闸 + 本地执行                 │
├─────────────────────────────────────────────────────────────────┤
│  数据库版本管理层                                               │
│  Flyway（SQL版本控制）集成至流水线                              │
│  每次服务启动前自动执行增量SQL，版本历史记录在DB                │
└─────────────────────────────────────────────────────────────────┘

3. Jenkinsfile 设计详解

流水线以声明式 Pipeline 编写，分阶段清晰，便于维护和扩展：

// Jenkinsfile（精简示例，展示关键阶段）
pipeline {
    agent { label 'build-server' }
    
    environment {
        // 从 Git Tag 或分支名自动计算版本号
        APP_VERSION = "${env.GIT_TAG_NAME ?: 'dev-' + env.GIT_COMMIT.take(8)}"
        IMAGE_REPO  = "harbor.internal/intelligent-ops"
        IMAGE_TAG   = "${IMAGE_REPO}/${env.JOB_BASE_NAME}:${APP_VERSION}"
    }
    
    stages {
        stage('代码质量门禁') {
            parallel {
                stage('SonarQube 扫描') {
                    steps {
                        withSonarQubeEnv('sonar-prod') {
                            sh 'mvn sonar:sonar -Dsonar.projectKey=${JOB_BASE_NAME}'
                        }
                        // 等待质量门结果，Critical 及以上漏洞阻断构建
                        timeout(time: 10, unit: 'MINUTES') {
                            waitForQualityGate abortPipeline: true
                        }
                    }
                }
                stage('单元测试') {
                    steps {
                        sh 'mvn test -Dmaven.test.failure.ignore=false'
                        // 覆盖率低于60%阻断
                        sh '''
                            COVERAGE=$(grep -oP "(?<=<line-rate>)[0-9.]+" target/coverage.xml)
                            if (( $(echo "$COVERAGE < 0.6" | bc -l) )); then
                                echo "代码覆盖率 $COVERAGE 低于60%阈值，构建失败"
                                exit 1
                            fi
                        '''
                    }
                }
            }
        }
        
        stage('构建制品') {
            steps {
                sh 'mvn package -DskipTests -P production'
                // 多阶段 Docker 构建，减小最终镜像体积
                sh "docker build --target production -t ${IMAGE_TAG} ."
                // 镜像安全扫描（发现 HIGH 级别漏洞则告警，CRITICAL 则阻断）
                sh "trivy image --exit-code 1 --severity CRITICAL ${IMAGE_TAG}"
            }
        }
        
        stage('推送制品') {
            steps {
                withCredentials([usernamePassword(
                    credentialsId: 'harbor-prod',
                    usernameVariable: 'HARBOR_USER',
                    passwordVariable: 'HARBOR_PASS'
                )]) {
                    sh "docker login harbor.internal -u ${HARBOR_USER} -p ${HARBOR_PASS}"
                    sh "docker push ${IMAGE_TAG}"
                    // 同时打 latest tag（仅用于非生产环境拉取最新）
                    sh "docker tag ${IMAGE_TAG} ${IMAGE_REPO}/${env.JOB_BASE_NAME}:latest"
                    sh "docker push ${IMAGE_REPO}/${env.JOB_BASE_NAME}:latest"
                }
            }
        }
        
        stage('自动部署 SIT') {
            when { branch 'develop' }
            steps {
                ansiblePlaybook(
                    playbook: 'deploy/site.yml',
                    inventory: 'deploy/inventory/sit',
                    extraVars: [image_tag: "${APP_VERSION}"],
                    colorized: true
                )
            }
        }
        
        // 生产部署：等待 OA 审批回调（见第3节）
        stage('等待生产审批') {
            when { branch 'master' }
            steps {
                input message: "请确认已在OA系统提交变更申请，审批通过后点击继续",
                      ok: "已审批，开始部署"
            }
        }
    }
    
    post {
        always {
            // 清理 Docker 本地镜像（防止构建服务器磁盘膨胀）
            sh "docker rmi ${IMAGE_TAG} || true"
            // 发送构建结论到钉钉机器人
            dingtalk(
                robot: 'ci-notify-bot',
                message: "【构建${currentBuild.result}】${JOB_NAME} #${BUILD_NUMBER} ${APP_VERSION}"
            )
        }
    }
}

4. 数据库版本控制：Flyway 集成方案

数据库版本控制是 CI/CD 体系中最容易被忽视、发生故障后破坏力最强的环节。

【踩坑实录：失控的数据库状态】

项目早期，我们仅对代码做了 CI/CD，数据库变更依赖工程师手工执行 SQL。结果某次代码回滚后，数据库表结构已因之前版本的 SQL 变更而修改，代码与数据库 Schema 错位，系统彻底无法启动，最终不得不找 DBA 人工修复历史数据，历时 6 小时。

Flyway 集成设计：

Git 仓库结构（SQL 与代码同仓库）
src/
├── main/
│   ├── java/           （业务代码）
│   └── resources/
│       └── db/migration/
│           ├── V1.0.0__Init_schema.sql
│           ├── V1.1.0__Add_material_table.sql
│           ├── V1.2.0__Add_shift_index.sql
│           ├── V2.0.0__Refactor_alarm_table.sql
│           └── R__View_production_daily.sql  （可重复执行的视图）
└── test/
    └── resources/
        └── db/migration/  （测试专用SQL，含Mock数据）

命名规范：

• V{major}.{minor}.{patch}__{描述}.sql：版本化迁移，只执行一次，不可修改
• R__{描述}.sql：可重复执行，用于视图、存储过程等每次部署需重建的对象
• U{版本}__{描述}.sql：撤销脚本（配合 Flyway Teams），用于计划内回滚

应用启动时的 Flyway 自动执行流程：

Spring Boot 启动
    ↓
Flyway 连接数据库，查询 flyway_schema_history 表
    ↓
对比 classpath 下的 SQL 文件与历史记录
    ↓
按版本号顺序执行未执行的 SQL
    ↓
更新 flyway_schema_history 表
    ↓
应用正式启动（数据库 Schema 已就绪）

关键约束：已执行的版本化 SQL 文件的内容严禁修改，Flyway 会对已执行文件做 checksum 校验，一旦发现内容变更，应用启动失败，防止"悄悄修改历史 SQL"的危险操作。

三、 现实碰撞：“双轨制 CI/CD 交付机制”

当全自动化流水线推向生产环境时，撞上了无法绕过的两堵墙：国企多级审批合规要求和IT/OT 物理隔离。

1. IT 系统：审批式蓝绿部署

适用范围：ERP 对接、供应链协同、经营报表、协同办公类系统（均在 IT 网内，无物理隔离障碍）。

OA 审批联动机制：

开发提交发版申请（OA系统）
   ├── 填写：版本号、变更内容、影响范围、回滚方案、预计停机时间
   └── 附件：本版本的测试报告（来自UAT环境的自动化测试结果）
   ↓
多级审批流（通常2-3级：技术负责人 → 信息中心 → 主管领导）
   ↓
审批通过 → OA 系统通过 Jenkins API 触发 Webhook
   ↓
Jenkins 自动启动生产部署流水线

蓝绿部署（Blue-Green Deployment）实现：

# K8s 蓝绿部署核心逻辑（Deployment + Service 切换）
# 步骤 1：部署新版本（绿色）到独立 Deployment，不改变流量
kubectl apply -f deployment-green.yaml
kubectl rollout status deployment/app-green --timeout=5m

# 步骤 2：执行冒烟测试（对绿色Deployment直接发请求）
./scripts/smoke-test.sh http://app-green-svc.internal

# 步骤 3：冒烟通过后，切换 Service Selector（瞬时切换，用户无感知）
kubectl patch service app-svc \
  -p '{"spec":{"selector":{"version":"green"}}}'

# 步骤 4：观察5分钟（监控错误率、响应时间）
sleep 300

# 步骤 5：确认无异常后，销毁旧版本（蓝色）
# （若有异常，执行回滚：将 Service Selector 切回 blue，秒级完成）
kubectl delete deployment app-blue

蓝绿部署的关键价值：回滚时间从分钟级（重新部署旧版本）压缩到秒级（切换 Service Selector），在工业场景里，这意味着故障暴露分钟数与生产损失的直接关联被大幅缩减。

金丝雀发布（灰度）：对用户量大、业务风险高的功能，采用金丝雀策略，先将 5% 流量切到新版本观察，无异常后逐步扩大：

# Nginx 金丝雀配置（基于请求头路由）
upstream app_stable { server app-blue:8080; }
upstream app_canary  { server app-green:8080; }

split_clients "${request_id}" $upstream_pool {
    5%   app_canary;    # 5% 流量到新版本
    *    app_stable;    # 95% 维持旧版本
}

2. OT 系统：停机窗口 + 强签名离线包

适用范围：MES、SCADA 接口服务、设备管网系统（部署于 OT 生产控制网内，物理隔离）。

核心设计理念：在 OT 领域，"平滑发布"是不切实际的伪命题。反应釜轰鸣、皮带运转时，任何瞬间的服务闪断都可能导致 PLC 通讯超时或设备急停，后果不可预测。

因此，OT 系统的发布策略核心有两点：

1. 绝对确定的包：包的内容、版本、签名在越过网闸之前已经完全锁定，任何人无法在 OT 网内私自修改
2. 计划内停机窗口：选择生产低谷期（如周日凌晨 2-4 点）进行维护，提前通知生产调度，协调设备安全停机

强签名离线包构建流程：

#!/bin/bash
# build-ot-package.sh（在 Jenkins 流水线内执行）

APP_VERSION="$1"
PACKAGE_NAME="ot-deploy-${APP_VERSION}.tar.gz"

# 组装部署包内容
mkdir -p deploy-package/{images,scripts,sql,config}

# 1. 导出容器镜像（不依赖 OT 网内的 Docker Registry）
docker save harbor.internal/mes-service:${APP_VERSION} \
    -o deploy-package/images/mes-service.tar
docker save harbor.internal/scada-adapter:${APP_VERSION} \
    -o deploy-package/images/scada-adapter.tar

# 2. 拷贝数据库迁移SQL
cp -r src/main/resources/db/migration/* deploy-package/sql/

# 3. 拷贝部署脚本
cp scripts/ot-install.sh deploy-package/scripts/

# 4. 生成包清单（SHA256校验）
find deploy-package -type f | sort | \
    xargs sha256sum > MANIFEST.sha256

# 5. 打包
tar -czf "${PACKAGE_NAME}" deploy-package/ MANIFEST.sha256

# 6. GPG 签名（使用 CI 系统持有的私钥，OT 侧持有对应公钥做验签）
gpg --batch --yes --armor \
    --detach-sign \
    --local-user ci-signing-key@internal \
    "${PACKAGE_NAME}"

# 7. 上传到内部文件服务器（安全员通过该服务器下载后摆渡至OT网）
curl -T "${PACKAGE_NAME}" "http://fileserver/ot-packages/${APP_VERSION}/"
curl -T "${PACKAGE_NAME}.asc" "http://fileserver/ot-packages/${APP_VERSION}/"

echo "OT 离线包已生成：${PACKAGE_NAME}"
echo "请安全员按照流程将包摆渡至 OT 网临时跳板机"

OT 网内一键部署脚本：

#!/bin/bash
# ot-install.sh（在 OT 网内执行）
set -euo pipefail

PACKAGE_FILE="$1"
MANIFEST="MANIFEST.sha256"
GPG_PUBKEY="/etc/ci-signing-key.pub"

echo "=== OT 系统部署脚本 v2.3 ==="
echo "包文件：${PACKAGE_FILE}"

# 1. GPG 签名验证
echo "[1/5] 验证包签名..."
gpg --import "${GPG_PUBKEY}"
gpg --verify "${PACKAGE_FILE}.asc" "${PACKAGE_FILE}" || {
    echo "ERROR: 签名验证失败，包可能已被篡改！禁止继续部署"
    exit 1
}

# 2. SHA256 文件完整性校验
echo "[2/5] 验证文件完整性..."
tar -xzf "${PACKAGE_FILE}"
sha256sum --check "${MANIFEST}" || {
    echo "ERROR: 文件完整性校验失败！"
    exit 1
}

# 3. 导入容器镜像到本地 Docker
echo "[3/5] 加载容器镜像..."
for image_tar in deploy-package/images/*.tar; do
    docker load -i "${image_tar}"
done

# 4. 执行数据库迁移（通过 Flyway CLI，OT 网内有独立 Flyway 实例）
echo "[4/5] 执行数据库迁移..."
flyway -url="jdbc:postgresql://db-ot:5432/mes" \
       -locations="filesystem:deploy-package/sql" \
       -user="${DB_USER}" -password="${DB_PASS}" \
       migrate

# 5. 重启服务（等待停机窗口已确认后执行）
echo "[5/5] 重启服务..."
docker-compose -f /opt/mes/docker-compose.yml down
docker-compose -f /opt/mes/docker-compose.yml up -d

# 等待服务就绪
sleep 30
docker-compose -f /opt/mes/docker-compose.yml ps | grep -v "Up" && {
    echo "ERROR: 服务未能正常启动，请检查日志"
    docker-compose -f /opt/mes/docker-compose.yml logs --tail=100
    exit 1
}

echo "=== 部署完成 ==="

四、 质量门禁体系：让 CI/CD 成为安全网而非跑道

1. 五道质量门禁

CI/CD 流水线中，质量门禁（Quality Gate）是防止"快速部署低质量代码"的核心机制。我们设计了五道递进式门禁：

代码提交
   ↓
【门禁1：提交前检查（Pre-commit Hook）】
  • 代码格式检查（Checkstyle/SpotBugs）
  • 敏感信息扫描（防止密码/Key 提交至代码库）
  • 提交信息格式校验（如：feature/#123 必须关联工单）
   ↓
【门禁2：CI 质量扫描（SonarQube）】
  • Critical 及以上安全漏洞：阻断构建
  • 代码重复率 > 30%：告警
  • 代码异味过多：告警
   ↓
【门禁3：自动化测试（测试覆盖率）】
  • 单元测试全部通过：强制
  • 核心业务代码覆盖率 > 60%：强制
  • 接口自动化测试全部通过（SIT环境）：强制
   ↓
【门禁4：镜像安全扫描（Trivy）】
  • CRITICAL 级别 CVE：阻断部署
  • HIGH 级别 CVE > 5 个：阻断部署
  • 镜像体积超过阈值（如>1GB）：告警
   ↓
【门禁5：生产冒烟测试（Blue-Green 切换前）】
  • 新版本部署后，对其直接执行冒烟测试
  • 核心接口响应时间 < 500ms
  • 错误率 < 0.1%
  • 通过后才切换流量

2. 自动化测试金字塔的工业实践

这是整套 CI/CD 体系中最薄弱的一环，也是我们最大的遗憾。

标准的测试金字塔：

          /\
         /  \
        / E2E \      ← 端到端测试（最少，最慢，最昂贵）
       /────────\
      / 集成测试 \   ← 接口、数据库、消息等集成层测试
     /────────────\
    /   单元测试   \  ← 最多，最快，最廉价
   /────────────────\

工业场景的现实困境：

1. OT 系统缺乏真实仿真测试环境：MES 的很多业务逻辑依赖真实 PLC 信号。测试环境没有真实 PLC，很多代码在测试环境正常，现场遇到高频并发工业数据流直接溢出。我们未能在 CI/CD 链路中引入基于"硬件在环（HiL）"的设备模拟仿真平台，是整个持续交付体系最薄弱的环节。

2. 遗留代码测试覆盖率极低：项目初期以"先跑起来"为目标，遗留了大量零测试的业务代码，事后补测试成本极高。

3. 研发文化问题：部分开发人员将"写测试"视为额外负担，在排期压力下测试常被优先砍掉。

补救方案（逐步推进）：

第一阶段（理想情况下已实施）：
└── 核心业务接口的接口自动化测试（Postman/REST-assured）
    至少覆盖：订单创建、工单流转、主数据同步等主流程

第二阶段（已部分实施）：
├── MES 数采适配层的单元测试（Mock PLC 数据）
└── 关键 SQL 的数据迁移测试（Flyway 迁移前后的数据断言）

第三阶段（规划中）：
├── 引入 PLC 信号模拟器（基于 OPC UA 测试服务器）
├── 搭建"数字孪生沙盒"，支持真实数据流回放
└── E2E 自动化测试（主流程的 UI 自动化）

反思：如果重来，我会在项目启动时强制约定：每个核心业务模块接口必须有对应的接口测试用例才能进入 release 分支。代码覆盖率设为 CI 阻断条件，而非仅作参考。

五、 紧急回滚：发布后发现问题怎么办？

1. 回滚决策树

不是所有上线后的问题都值得立即回滚，错误的回滚决策本身也会引入风险。建立标准化回滚决策树：

生产发现异常
   ↓
是否影响核心生产流程？
├── 否 → 创建紧急工单，下次发版修复，保持当前版本
└── 是 → 继续评估
   ↓
是否有已验证的修复方案？
├── 是 → 紧急修复并走"快速发版通道"（可跳过部分非强制门禁）
└── 否 → 执行回滚
   ↓
是否涉及数据库 Schema 变更？
├── 否 → 直接蓝绿切回旧版本（秒级）
└── 是 → 评估数据库回退风险
    ├── 新 Schema 向下兼容旧代码 → 服务回滚，数据库保持新 Schema
    └── 不兼容 → 执行 Flyway 回退脚本（需提前准备 Undo SQL）
        + 服务回滚

2. IT 系统回滚（蓝绿秒级切换）

#!/bin/bash
# rollback.sh - IT 系统蓝绿回滚
CURRENT_VERSION=$(kubectl get service app-svc \
    -o jsonpath='{.spec.selector.version}')

if [ "$CURRENT_VERSION" == "green" ]; then
    ROLLBACK_VERSION="blue"
else
    ROLLBACK_VERSION="green"
fi

echo "当前版本: $CURRENT_VERSION，回滚至: $ROLLBACK_VERSION"

# 确认旧版本 Deployment 仍在运行（蓝绿部署保留了旧版本30分钟）
ROLLBACK_PODS=$(kubectl get pods -l version=${ROLLBACK_VERSION} \
    --field-selector=status.phase=Running | wc -l)
    
if [ "$ROLLBACK_PODS" -lt 2 ]; then
    echo "ERROR: 旧版本 Pod 数量不足，可能已被销毁，无法秒级回滚"
    echo "需要重新部署旧版本镜像，预计耗时 3-5 分钟"
    exit 1
fi

# 秒级切换流量回旧版本
kubectl patch service app-svc \
    -p "{\"spec\":{\"selector\":{\"version\":\"${ROLLBACK_VERSION}\"}}}"
    
echo "流量已切回 ${ROLLBACK_VERSION}，回滚完成"
echo "请在 1 小时内完成故障分析并决策是否需要修复重发"

3. OT 系统回滚（停机窗口内降级）

OT 系统因物理隔离，无法实现秒级回滚。回滚策略：

1. 保留上版本离线包：每次部署前，将旧版本 docker-compose.yml 和数据库状态备份到 /opt/backup 目录
2. 回滚窗口：OT 系统回滚同样需要停机窗口，紧急情况下向调度临时申请最短停机时间
3. 数据库回滚原则：若本次发版执行了数据库 Schema 变更，且新旧 Schema 不兼容，回滚时须执行预先准备的 Undo SQL，并在部署前做好数据备份
4. 最坏情况预案：保留最近 3 个版本的离线包在 OT 网内跳板机，避免需要重新穿越网闸

六、 发布度量：让发布质量可见

1. DORA 四项指标的工业适配

DevOps Research and Assessment（DORA）定义了四项衡量软件交付效能的指标。在工业场景下，我们对其进行了适配：

DORA 指标	通用定义	工业场景适配	我们的基准目标
部署频率	生产部署次数/周	IT系统：次/周；OT系统：次/月	IT≥2次/周，OT≥1次/月
变更前置时间	代码提交到部署的时间	从需求确认到UAT验收的时间	IT≤3天，OT≤2周
变更失败率	导致生产事故的发布比例	导致生产停工或数据问题的发布比例	≤5%
恢复时间	生产故障恢复时间	IT：蓝绿切换时间；OT：停机窗口修复时间	IT≤10分钟，OT≤4小时

这四项指标实时呈现在 Grafana 看板上，每月在项目管控会上回顾，作为 CI/CD 体系成熟度的客观度量。

2. 发布日志与审计追踪

每次流水线执行均自动记录完整的发布日志，包括：

• 触发人、触发时间、触发原因（OA 审批单号）
• 本次发布版本号与 Git Commit Hash
• 各门禁检查结果
• 部署耗时与结果
• 若失败：失败阶段与错误信息

这份日志在生产事故分析时是第一手证据，也是等保合规审计的必要材料。

七、 架构师复盘：CI/CD 是文化，不是工具

1. 最大的遗憾：持续集成而非持续测试

这套 CI/CD 机制落地后，系统部署时间从按天计算压缩到了分钟级，发版错误率断崖式下降。研发团队终于告别了战战兢兢的"发版之夜"。

然而，最大的痛点在于：我们在战术上实现了持续集成，但在战略上遗漏了持续测试。

流水线里塞满了编译、打包、推送的自动化脚本，却严重缺乏自动化的业务测试用例。CI/CD 仅仅让我们"以更快的速度把 Bug 部署到了生产环境"。没有自动化测试护航的 CI/CD，无异于蒙着眼睛在高速公路上狂飙。

2. 人的问题比工具的问题更难解决

工具搭建完成后，我们发现最难克服的障碍不是技术，而是习惯与文化：

• 开发人员仍然习惯在本地验证后"绕过"流水线直接在服务器上改文件（需要在服务器权限上做物理限制）
• 部分团队的 Jenkinsfile 随着功能增加变得无人维护，门禁形同虚设
• OA 审批流程有时被视为"走过场"，缺失真实的技术审查内容

最终认知：CI/CD 是一种工程文化的体现。工具只是载体，如果没有"代码质量是每个人的责任"的团队文化认同，再精密的流水线也会被人绕过、糊弄、废弃。作为架构师，建立流水线只完成了 30%，剩下 70% 是持续的文化塑造——让每个工程师理解为什么这些门禁存在，而非把它们视为阻碍自己发版的障碍。

3. 给后来者的建议

1. 先求有，再求精：第一套流水线不必完美，先建立"代码仓库唯一真理"和"制品不可变"两个核心原则，其他逐步迭代
2. 门禁要有牙齿：所有质量门禁只有设为"阻断"才有效，"仅告警"的门禁等同于不存在
3. OT 和 IT 分开治理：不要试图用同一套流水线解决 IT 和 OT 的发布问题，两者的约束完全不同，强行统一反而两边都不适用
4. 先买关键工程师的心：让核心研发负责人参与流水线设计，而不是"架构师设计好了往下推"，他们的认可是落地成功的关键
5. 度量驱动改进：DORA 四项指标应该在第一天就开始采集，用数据说话比用态度争论更有说服力