16、基础设施即代码：Vagrant与Puppet的实战应用

最新推荐文章于 2025-10-12 09:53:41 发布

人间清醒863

最新推荐文章于 2025-10-12 09:53:41 发布

阅读量27

点赞数

CC 4.0 BY-SA版权

分类专栏： DevOps实践指南：从开发到运营的桥梁文章标签： Vagrant Puppet 基础设施即代码

本文链接：https://blog.youkuaiyun.com/gpu4optimizer/article/details/150682346

DevOps实践指南：从开发到运营的桥梁专栏收录该内容

19 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

基础设施即代码：Vagrant与Puppet的实战应用

1. 虚拟机状态管理

在使用虚拟机时，暂停和挂起操作可以保留虚拟机的状态，即底层的VirtualBox虚拟机不会被移除。但如果销毁虚拟机，之前所做的所有更改都将丢失。

2. 仅主机网络与多虚拟机环境

在测试系统中为每个组件设置端口转发效率不高，而且理想的做法是创建类似生产环境的环境，以尽早消除配置错误。同时，在实际生产中，不太可能所有服务都仅运行在一台主机上。Vagrant通过仅主机网络和多虚拟机环境解决了这些问题。
- 多虚拟机环境 ：可以使用一个Vagrant文件管理多个虚拟机。若在Vagrant中定义了多个虚拟机，在执行Vagrant命令时需要添加虚拟机的名称，以指定要启动、销毁、通过SSH登录等操作的虚拟机。大多数命令在不指定名称时，会应用于当前Vagrant文件中定义的所有虚拟机。
- 仅主机网络 ：可以为虚拟机分配仅能从主机访问的静态IP地址。只要不为虚拟机配置单独的网络掩码，它们之间也可以相互通信。

以下是一个示例代码：

Vagrant::Config.run do |config|
  config.vm.box = "lucid32"
  config.vm.box_url = "http://files.vagrantup.com/lucid32.box"
  config.vm.define :web do |web|
    web.vm.network :hostonly, "33.33.33.11"
  end
  config.vm.define :db do |db|
    db.vm.network :hostonly, "33.33.33.12"
  end
end

运行 vagrant up 命令将创建两个虚拟机，可以使用 vagrant ssh web|db 登录这些虚拟机。通过指定的IP地址可以从计算机访问这两个虚拟机。

3. 使用Puppet进行配置管理

Vagrant提供了配置预配的机制，这里我们使用Puppet来管理虚拟机的软件和配置。Puppet是一个基于Ruby的配置管理工具，允许创建包含系统描述的清单（manifests）。

3.1 在Vagrant中配置Puppet

首先，需要告诉Vagrant使用Puppet进行预配，并指定Puppet清单的位置。示例代码如下：

Vagrant::Config.run do |config|
  config.vm.box = "lucid32"
  config.vm.box_url = "http://files.vagrantup.com/lucid32.box"
  config.vm.network :hostonly, "33.33.33.10"
  config.vm.provision :puppet do |puppet|
    puppet.manifests_path = "manifests"
    puppet.manifest_file  = "webserver.pp"
  end
end

3.2 Puppet资源的基本结构

Puppet使用特定领域语言以资源的形式描述系统。资源可以是文件、软件包、服务或命令执行等。资源的基本结构如下：

<资源类型> { "资源名称":
  属性名称 => 属性值,
  ...
}

3.3 配置Web服务器的Puppet清单示例

# 修复lucid32盒子中缺少的puppet组
group { "puppet":
  ensure => present,
}

# 更新过时的软件包列表
exec { "refresh-packages":
  command => "/usr/bin/apt-get update",
  before => Package["apache2"],
}

package { "apache2":
  ensure => installed,
}

service { "apache2":
  ensure => running,
  require => Package["apache2"],
}

file { "/var/www/index.html":
  ensure => file,
  content => "<html><body><h1>Vagrant and Puppet rocks!</h1></body></html>",
  require => Service["apache2"],
}

上述清单中，第一个资源确保系统中存在名为 puppet 的组；第二个资源执行命令更新Ubuntu软件包存储库列表；接下来的两个资源确保 apache2 软件包已安装且相关服务正在运行；最后一个资源修改默认Apache索引页面的内容。

部分资源具有 before 和 require 等元参数，用于指示资源之间的依赖关系，因为Puppet本身对资源的执行顺序没有保证。

启动虚拟机后，与不进行预配的情况相比，会看到更多输出。完成后，访问 http://33.33.33.10 可以看到修改后的索引页面。

4. 在持续集成中使用Vagrant

可以将Vagrant和Puppet集成到持续集成设置中，以动态创建测试环境。如果使用流行的Jenkins CI服务器，Tyler Croy编写的插件可以为Jenkins添加新的构建步骤，用于在构建作业期间运行和预配Vagrant盒子。操作步骤如下：
1. 使用Jenkins插件管理页面安装该插件。
2. 创建一个新的作业。
3. 配置作业，勾选让Jenkins在作业期间运行Vagrant的选项，并指定Vagrant文件的位置。
4. 在构建过程中执行Vagrant的预配步骤。
5. 使用cURL工具检查Web服务器是否正常运行并提供演示索引页面。

在实际场景中，可能会在构建中混合多个项目，如基础设施规范和Vagrant文件所在的项目、要测试的应用程序项目、可能包含某种部署自动化的项目以及用于在虚拟环境上执行的验收或集成测试项目。这种设置可以尽早发现所有环境中的配置差异，并在问题出现之前消除它们。

目前，Jenkins的Vagrant插件仍处于早期开发阶段，在测试中，仅主机网络在开发的早期阶段运行不可靠，但该插件已经可以为开发人员和系统管理员提供更快的反馈。由于它是开源的，如果发现任何错误，可以到GitHub上贡献代码。

5. 补充工具

Vagrant相关 ：
- 可以在Vagrant主页查看如何使用VirtualBox构建自己的虚拟机盒子并打包以供后续重用的文档。
- 访问 http://vagrantbox.es ，该网站列出了Vagrant社区成员构建并发布供下载的不同操作系统的模板盒子。
- 使用开源工具Veewee可以更轻松地为Vagrant构建新的基础盒子。自Vagrant 1.0版本起，还支持编写插件。
Puppet相关 ：
- 可以使用简单的文本编辑器编辑Puppet清单和模块，但为了获得自动补全和其他便利功能，建议使用基于Eclipse构建的Geppetto。
- 使用 puppet-lint 检查Puppet清单是否符合风格指南。
- guard-puppet 有助于自动重新应用Puppet配置。
- Cucumber-Puppet 和 puppet-rspec 等工具可用于测试Puppet清单，确保它们符合清单策略。 puppet-rspec 的测试结构如下：

require 'spec_helper'
describe '<被测试对象的名称>' do
  # 测试代码放在这里
end

这些工具有助于将测试驱动开发（TDD）实践应用于Puppet清单，并将Puppet清单添加到持续集成和持续交付系统中。

6. Puppet服务器的设置

Puppet不仅可以与Vagrant一起管理虚拟环境，还可以管理各种类型的环境，包括开发和生产环境。下面介绍如何设置一个Puppet服务器，将所有受管理节点的配置存储在中央位置，并根据需要进行分发。

6.1 设置Puppet主服务器

在本地系统（作为Puppet主服务器）上安装Puppet，在Ubuntu中安装命令如下：

sudo apt-get install puppet

安装后，配置文件将被放置在 /etc/puppet 目录下。为了简化示例，启用新Puppet客户端的自动签名，避免在Puppet主服务器和客户端之间进行证书签名和交换。在生产环境中不建议这样做。启用自动签名的方法是在 /etc/puppet 目录下创建一个 autosign.conf 文件，内容如下：

*.example.com

这将自动签署来自主机名匹配的客户端的所有证书请求，消除主服务器和客户端通信前进行证书交换的额外步骤。然后重启Puppet主服务器使更改生效：

sudo /etc/init.d/puppetmaster restart

6.2 设置Puppet客户端

使用Vagrant设置一个作为Puppet客户端的主机，创建一个新的Vagrant文件，内容如下：

Vagrant::Config.run do |config|
  config.vm.box = "lucid32"
  config.vm.box_url = "http://files.vagrantup.com/lucid32.box"
  config.vm.network :hostonly, "33.33.33.33"
  config.vm.host_name = "node01.example.com"
end

启动并通过SSH登录该虚拟机，为了使其能够连接到Puppet主服务器，需要在虚拟机的 /etc/hosts 文件中添加Puppet主服务器的IP地址和主机名条目。此外，由于 lucid32 盒子中缺少 puppet 组，需要添加该组。

手动运行Puppet代理进行测试：

puppet agent --test --server <puppetmaster hostname>

运行上述命令后，会看到代理和主服务器交换证书，主服务器尝试为请求的节点查找目录。由于尚未进行任何配置，代理未收到任何信息并中止运行。如果代理以守护进程模式在后台运行，它将按配置的时间间隔轮询主服务器，询问是否有新的或更改的目录可用。如果有，则在客户端执行该目录。

接下来，编写一个简单的节点定义。在本地机器上，进入 /etc/puppet/manifests 目录，创建一个 nodes 文件夹。编辑 /etc/puppet/manifests/site.pp 文件，添加以下行：

import 'nodes/*'

这告诉Puppet导入 nodes 文件夹中的所有文件。在 nodes 文件夹中创建一个 node01.pp 文件，内容如下：

node 'node01.example.com' {
  file { "/tmp/test.txt":
    ensure => file,
    content => "It works!",
  }
}

重新在代理主机上运行Puppet，会看到Puppet主服务器将目录交付给客户端并在那里执行。执行后，可以看到 /tmp/test.txt 文件。

7. 开源基础设施的Puppet用例

在开源生态系统中，功能性基础设施是一个经常被忽视但必要的组成部分。以Jenkins项目为例，其基础设施需求不断增长，最初采用手动配置机器的方式，直到一次代价高昂的配置错误导致一台机器意外提供了远超预期的数据量，才促使Jenkins将Puppet纳入管理工具包，以实现以下关键目标：
- 可测试性 ：当然是在生产环境之外进行测试。
- 可审计性 ：便于对基础设施进行审计。
- 透明度 ：使基础设施的配置和状态清晰可见。

综上所述，Vagrant和Puppet为开发和运维团队提供了强大的工具，能够有效地管理虚拟机环境、进行配置管理，并将其集成到持续集成和持续交付流程中。通过合理使用这些工具和相关的补充工具，可以提高开发效率、减少配置错误，并确保基础设施的可维护性和可靠性。

下面是一个简单的mermaid流程图，展示了使用Vagrant和Puppet的基本流程：

graph LR
    A[创建Vagrant文件] --> B[配置仅主机网络和多虚拟机环境]
    B --> C[配置Puppet预配]
    C --> D[编写Puppet清单]
    D --> E[启动虚拟机]
    E --> F[执行Puppet配置]
    F --> G[测试环境]

同时，为了更清晰地展示相关工具和操作，我们可以列出一个表格：
| 工具/操作 | 描述 |
| ---- | ---- |
| Vagrant | 用于创建和管理虚拟机环境 |
| Puppet | 基于Ruby的配置管理工具，用于管理虚拟机的软件和配置 |
| Jenkins插件 | 用于在Jenkins中集成Vagrant和Puppet，实现持续集成 |
| Veewee | 开源工具，用于更轻松地为Vagrant构建新的基础盒子 |
| Geppetto | 基于Eclipse的工具，用于编辑Puppet清单和模块 |
| puppet-lint | 用于检查Puppet清单是否符合风格指南 |
| guard-puppet | 有助于自动重新应用Puppet配置 |
| Cucumber-Puppet和puppet-rspec | 用于测试Puppet清单 |

基础设施即代码：Vagrant与Puppet的实战应用

8. 深入理解Puppet的节点管理

Puppet的节点管理是其核心功能之一，它允许我们针对不同的节点应用不同的配置。在前面的例子中，我们为 node01.example.com 节点创建了一个简单的文件。实际上，我们可以根据节点的角色、环境等因素进行更细致的管理。

例如，对于不同类型的服务器（如Web服务器、数据库服务器），我们可以定义不同的节点配置。假设我们有一个Web服务器节点 web01.example.com 和一个数据库服务器节点 db01.example.com ，我们可以在 /etc/puppet/manifests/nodes 目录下分别创建对应的文件。

web01.pp 文件内容如下：

node 'web01.example.com' {
  package { "nginx":
    ensure => installed,
  }
  service { "nginx":
    ensure => running,
    require => Package["nginx"],
  }
  file { "/var/www/html/index.html":
    ensure => file,
    content => "<html><body><h1>Welcome to the Web Server!</h1></body></html>",
    require => Service["nginx"],
  }
}

db01.pp 文件内容如下：

node 'db01.example.com' {
  package { "mysql-server":
    ensure => installed,
  }
  service { "mysql":
    ensure => running,
    require => Package["mysql-server"],
  }
  file { "/etc/mysql/my.cnf":
    ensure => file,
    content => "# MySQL configuration\n[mysqld]\nport = 3306\n",
    require => Service["mysql"],
  }
}

这样，Puppet会根据节点的名称，将相应的配置应用到对应的服务器上。

9. Puppet模块的使用

除了直接在节点定义中编写配置，Puppet还支持使用模块来组织和复用代码。模块是一种将相关资源和配置封装在一起的方式，方便在不同的节点和环境中使用。

假设我们要创建一个用于安装和配置Nginx的模块，步骤如下：

创建模块目录结构 ：在 /etc/puppet/modules 目录下创建一个 nginx 目录，其结构如下：

nginx/
├── files
│   └── nginx.conf
├── manifests
│   └── init.pp
└── templates
    └── default.conf.erb

编写 init.pp 文件 ：该文件是模块的入口点，定义了模块的主要功能。

class nginx {
  package { "nginx":
    ensure => installed,
  }
  service { "nginx":
    ensure => running,
    require => Package["nginx"],
  }
  file { "/etc/nginx/nginx.conf":
    ensure => file,
    source => "puppet:///modules/nginx/nginx.conf",
    require => Package["nginx"],
    notify => Service["nginx"],
  }
  file { "/etc/nginx/sites-available/default":
    ensure => file,
    content => template("nginx/default.conf.erb"),
    require => Package["nginx"],
    notify => Service["nginx"],
  }
}

编写 nginx.conf 文件 ：将Nginx的配置文件放在 files 目录下。

user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;

events {
    worker_connections 1024;
}

http {
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile            on;
    tcp_nopush          on;
    tcp_nodelay         on;
    keepalive_timeout   65;
    types_hash_max_size 2048;

    include             /etc/nginx/mime.types;
    default_type        application/octet-stream;

    include /etc/nginx/conf.d/*.conf;
}

编写 default.conf.erb 模板文件 ：用于生成Nginx的虚拟主机配置。

server {
    listen       80;
    server_name  _;
    root         /var/www/html;

    location / {
    }

    error_page 404 /404.html;
        location = /40x.html {
    }

    error_page 500 502 503 504 /50x.html;
        location = /50x.html {
    }
}

在节点定义中使用模块 ：在节点定义文件中引入该模块。

node 'web01.example.com' {
  include nginx
}

通过使用模块，我们可以将复杂的配置逻辑封装起来，提高代码的可维护性和复用性。

10. Puppet的报告和监控

Puppet提供了报告和监控功能，帮助我们了解配置的执行情况和节点的状态。

报告功能 ：Puppet代理在每次运行后会生成报告，这些报告可以存储在Puppet主服务器上。默认情况下，报告以YAML格式存储在 /var/lib/puppet/reports 目录下。我们可以通过查看这些报告，了解哪些资源被更改、哪些资源执行失败等信息。
监控功能 ：可以使用第三方工具（如Nagios、Zabbix）与Puppet集成，实现对节点的监控。例如，我们可以在节点上安装Nagios客户端，通过Puppet配置Nagios客户端的监控项。

以下是一个简单的mermaid流程图，展示了Puppet的报告和监控流程：

graph LR
    A[Puppet代理运行] --> B[生成报告]
    B --> C[存储报告到Puppet主服务器]
    D[Nagios/Zabbix监控系统] --> E[从Puppet获取节点信息]
    E --> F[监控节点状态]

11. 与其他工具的集成

除了与Jenkins集成用于持续集成，Vagrant和Puppet还可以与其他工具集成，进一步提升开发和运维效率。

与Git集成 ：将Vagrant文件和Puppet清单存储在Git仓库中，方便团队协作和版本控制。开发人员可以在本地克隆仓库，进行开发和测试，然后将更改推送到远程仓库。运维人员可以从仓库中拉取最新的配置，应用到生产环境中。
与Ansible集成 ：Ansible是另一个流行的自动化工具，可以与Puppet互补。例如，在一些简单的任务（如文件分发、服务重启）上可以使用Ansible，而在复杂的配置管理上使用Puppet。

以下是一个表格，总结了Vagrant、Puppet与其他工具的集成情况：
| 工具 | 集成方式 | 优势 |
| ---- | ---- | ---- |
| Jenkins | 使用Jenkins插件 | 实现持续集成，动态创建测试环境 |
| Git | 存储配置文件 | 方便团队协作和版本控制 |
| Ansible | 分工协作 | 简单任务使用Ansible，复杂配置管理使用Puppet |