Jenkins基础教程（185）Jenkins分布式构建之使用Amazon EC2：Jenkins分布式构建：让你的EC2机器“打工”指南

原创于 2025-11-25 10:32:18 发布 · 161 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#jenkins #分布式 #运维

Jenkins基础教程专栏收录该内容

185 篇文章

订阅专栏

一边是卡爆的本地服务器，一边是随手可得的EC2资源，这笔账怎么算都划算。

01 Jenkins分布式构建基础：Master与Slave那点事

Jenkins的分布式构建采用了典型的Master-Slave架构。简单来说，就是有一个“大脑”（Master）和许多“手”（Slave）。

大脑负责指挥，手负责干活。这种分工带来了几个实实在在的好处：

想想看，当你的构建任务可以在多个机器上同时进行，就像多条流水线并行作业，效率自然大幅提升。

再也不用担心因为一个节点的故障导致整个构建流程瘫痪，其他节点可以继续工作，保证任务完成。

不同的Slave节点可以配置不同的操作系统和环境，让你能够在一台Windows机器上编译.NET应用，同时在另一台Linux机器上构建Docker镜像。

这就像团队协作，分工明确，各司其职，效率自然高。

02 为什么选择Amazon EC2作为构建节点？

那么，为什么要选择Amazon EC2作为这些“手”呢？因为它解决了传统物理机架构的几个痛点：

想象一下，当你需要同时运行多个耗时很长的集成测试时，只需在EC2上快速启动多个配置好的实例，任务完成后立即释放，只为实际使用的时间付费。

通过定义标准的AMI（Amazon Machine Image），你可以确保每个构建环境的一致性，彻底告别“在我本地是好的”这类经典问题。

EC2提供了从微小型到计算优化型的多种实例类型，你可以根据项目需求选择最合适的资源配置，无论是内存密集型的前端构建还是CPU密集型的编译任务。

结合Amazon Auto Scaling，你甚至可以设置基于Jenkins队列长度的自动扩展，实现真正的弹性构建环境。

03 手把手配置：Jenkins与EC2的完美结合

理论说够了，让我们动手实践。以下是详细的配置步骤：

前期准备

你需要在AWS上创建至少一个EC2实例作为Jenkins Master，建议选择t3.medium或更大规格，确保有足够的内存处理构建调度。

安全组配置需打开端口8080（Jenkins Web界面）和50000（Jenkins Agent通信）。

在Master节点上安装Jenkins后，通过浏览器访问http://<你的服务器IP>:8080完成初始设置。

安装必要插件

在Jenkins中，进入“Manage Jenkins” > “Manage Plugins”，安装以下关键插件：

Amazon EC2 Plugin：让Jenkins能够动态地在EC2上启动和终止实例。
Pipeline Plugin：用于定义构建流水线。
Git Plugin：与代码仓库集成。

配置Amazon EC2云

进入“Manage Jenkins” > “Configure Clouds”，添加新的EC2云配置：

在“Amazon EC2”部分，输入你的AWS凭证（Access Key ID和Secret Access Key）。

选择你偏好的AWS区域，这应该靠近你的团队或主要用户所在地。

配置实例模板，定义你希望Jenkins在需要时启动的EC2实例规格：

选择适合你项目的AMI ID（可以是Amazon Linux、Ubuntu等）
实例类型（如t3.medium用于一般构建，m5.large用于内存密集型任务）
子网和安全组
远程用户名称（Amazon Linux通常为“ec2-user”，Ubuntu为“ubuntu”）

最关键的一步是配置SSH密钥对，确保Jenkins Master能够通过SSH连接到新启动的Slave实例。

04 实战演示：一个完整的分布式构建示例

假设我们有一个Node.js前端项目，需要在一个Linux环境中构建，同时要求有稳定的网络环境以下载依赖包。

我们将通过Pipeline脚本实现这一目标。

创建Pipeline项目

在Jenkins中新建一个“Pipeline”项目，在“Pipeline”部分，选择“Pipeline script”并输入以下内容：

pipeline {
    agent {
        label 'ec2-linux-nodejs'  // 对应EC2实例模板中定义的标签
    }
    stages {
        stage('Checkout') {
            steps {
                git branch: 'main', 
                url: 'https://github.com/your-username/your-project.git'
            }
        }
        stage('Install Dependencies') {
            steps {
                sh 'npm install'
            }
        }
        stage('Build') {
            steps {
                sh 'npm run build'
            }
        }
        stage('Test') {
            steps {
                sh 'npm test'
            }
        }
        stage('Archive Artifacts') {
            steps {
                archiveArtifacts artifacts: 'dist/**/*'
            }
        }
    }
    post {
        always {
            emailext body: '项目构建完成，请查看构建结果。', 
                    subject: '构建通知：${env.JOB_NAME} - ${env.BUILD_NUMBER}', 
                    to: 'team@example.com'
        }
    }
}

这个脚本定义了一个完整的构建流程，包括代码拉取、依赖安装、构建、测试和产物归档。

配置EC2实例模板

在Jenkins的EC2云配置中，创建一个新的实例模板：

描述：Linux Node.js Builder
标签：ec2-linux-nodejs（与Pipeline中的标签一致）
AMI ID：选择ami-0c02fb55956c7d316（Amazon Linux 2）
实例类型：t3.medium
密钥对：选择你预先创建的密钥对
子网：选择你的VPC子网
安全组：选择允许SSH访问的安全组
远程用户：ec2-user
初始化脚本：

#!/bin/bash
curl -sL https://rpm.nodesource.com/setup_14.x | sudo bash -
yum install -y nodejs

这个初始化脚本会在实例首次启动时自动执行，安装Node.js环境。

触发构建与观察

保存配置后，手动触发一次构建，然后观察Jenkins的控制台输出。

你会看到Jenkins首先在EC2上启动一个实例，等待它就绪，然后连接到这个新实例执行构建步骤。

构建完成后，无论成功与否，Jenkins都会自动终止EC2实例以节省成本。这就是弹性构建环境的魅力所在！

05 避坑指南：实战中常见问题与解决方案

在实际使用中，你可能会遇到一些挑战，以下是常见问题及解决方案：

权限问题

确保Jenkins Master上的AWS凭证有足够的权限操作EC2。建议创建一个专门的IAM角色，只授予操作EC2所需的最小权限。

连接失败

如果Jenkins无法通过SSH连接到新启动的EC2实例，检查安全组规则是否允许来自Master的SSH连接，以及密钥对是否正确。

环境不一致

尽管使用了相同的AMI，但有时仍会遇到环境不一致的问题。解决这个问题的关键是使用完全相同的AMI，并确保初始化脚本能够正确安装所有必需的依赖项。

构建超时

如果实例启动和初始化时间较长，可能导致构建超时。可以增加构建超时时间，或使用预配置的专用AMI减少初始化步骤。

成本控制

为避免意外成本，可以设置EC2实例的数量上限，并使用标签跟踪Jenkins启动的实例。还可以考虑使用Spot实例进一步降低成本。

06 进阶技巧：弹性与效率的提升

当你熟悉基础用法后，这些进阶技巧可以让你的构建环境更加高效：

分层AMI策略

不要在每个构建中都从头开始安装所有依赖。创建分层AMI：基础层包含操作系统和常用工具，中间层包含语言环境（如Node.js、Java等），专用层包含项目特定依赖。

这样可以将实例初始化时间从几分钟缩短到几秒钟。

多实例类型配置

为不同的构建需求配置不同的实例类型。例如，为前端项目配置内存优化型实例，为编译项目配置计算优化型实例。

在Pipeline中通过标签指定所需的实例类型。

容器化构建环境

考虑使用Docker容器而不是完整的虚拟机作为构建环境。Jenkins Kubernetes插件可以与ECS或EKS集成，提供更加轻量级、快速启动的构建环境。

智能伸缩配置

通过Jenkins插件和AWS Auto Scaling的结合，实现基于队列长度的智能伸缩。当积压的构建任务增多时自动增加实例数量，任务减少时自动缩减。

下一个等待构建任务堆积如山的凌晨，或许你可以悠闲地喝着咖啡，看着EC2实例自动扩容应对，再也不用担心资源瓶颈。这就是分布式构建与云结合的魅力——让机器干活，让人思考。

毕竟，我们的时间是写代码解决问题，而不是守着进度条祈祷。