HashiCorp Nomad 中的 IPv6 支持详解-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00253/article/details/148377770

HashiCorp Nomad 中的 IPv6 支持详解

nomad hashicorp/nomad: Nomad 是 HashiCorp 公司开发的一款易于部署和管理的调度器，它支持跨数据中心进行容器、虚拟机和任务进程等工作负载的自动化部署与管理。项目地址: https://gitcode.com/gh_mirrors/no/nomad

前言

随着 IPv6 的普及，越来越多的企业开始将 IPv6 纳入其基础设施规划。作为一款现代化的集群调度器，HashiCorp Nomad 提供了全面的 IPv6 支持。本文将深入探讨 Nomad 中 IPv6 的配置和使用方法，帮助您在 IPv6 环境中高效部署和管理 Nomad 集群。

IPv6 基础支持

Nomad 原生支持 IPv6，前提是底层网络、主机和操作系统都支持 IPv6。这意味着：

网络设备（交换机、路由器等）必须配置 IPv6
主机操作系统需要启用 IPv6 协议栈
防火墙规则需要允许 IPv6 流量

广告地址配置

在 Nomad 中，"广告地址"(advertise address)是指 Nomad 服务器和客户端向集群其他成员宣告自己可访问的地址。对于 IPv6 环境，我们可以这样配置：

advertise {
  http = "{{ GetPublicInterfaces | include `type` `IPv6` | limit 1 | attr `address` }}"
  rpc  = "{{ GetPublicInterfaces | include `type` `IPv6` | limit 1 | attr `address` }}"
  serf = "{{ GetPublicInterfaces | include `type` `IPv6` | limit 1 | attr `address` }}"
}

这段配置使用了 go-sockaddr 模板语言，它会：

获取所有公共网络接口
筛选出 IPv6 类型的接口
限制只取第一个符合条件的接口
提取该接口的 IPv6 地址

Nomad 集群内部通信

服务器间通信

Nomad 服务器节点之间需要通过 RPC 进行通信。在 IPv6 环境中，可以使用 server_join 块配置服务器间的连接：

server {
  enabled = true
  server_join {
    retry_join = ["[2001:db8::1]", "[2001:db8::2]"]
  }
}

注意：IPv6 地址在配置文件中必须用方括号括起来，这是为了区分地址和端口号。

客户端到服务器通信

Nomad 客户端需要知道如何连接到服务器。有两种配置方式：

直接指定服务器列表：

client {
  enabled = true
  servers = ["[2001:db8::1]", "[2001:db8::2]", "[2001:db8::3]"]
}

使用服务发现自动加入：

client {
  enabled = true
  server_join {
    retry_join = ["[2001:db8::1]", "[2001:db8::2]", "[2001:db8::3]"]
  }
}

与外部系统集成

Nomad 经常需要与 Consul、Vault 等外部系统集成。在 IPv6 环境中，这些集成同样可以正常工作。

环境变量配置

设置 Nomad API 地址：

export NOMAD_ADDR='http://[2001:db8::1]:4646'

这个地址将用于：

Nomad CLI 工具
Web UI 访问
工作负载身份认证

工作负载身份认证

Nomad 可以通过 IPv6 地址与 Consul 和 Vault 通信：

配置 Consul：

nomad setup consul -y -jwks-url="$NOMAD_ADDR/.well-known/jwks.json"

配置 Vault：

nomad setup vault -y -jwks-url="$NOMAD_ADDR/.well-known/jwks.json"

任何支持 OIDC 的第三方服务只要支持 IPv6，都可以通过 IPv6 地址与 Nomad 集成。

工作负载网络配置

Nomad 支持任务在客户端节点上进行任意的 IPv6 网络通信。

主机网络模式

在主机网络模式下，任务使用与主机相同的网络栈。要注册使用 IPv6 地址的服务：

在客户端配置中设置首选地址族：

client {
  preferred_address_family = "ipv6"
}

在作业规范中包含服务块：

service {
  provider = "consul"
  port     = "http"
}

桥接网络模式

Nomad 的桥接网络模式也支持 IPv6：

client {
  bridge_network_subnet_ipv6 = "2001:db8::/64"
}

CNI 插件支持

Nomad 支持使用 CNI 插件配置 IPv6 网络。桥接网络模式默认就支持 IPv6。

特定驱动配置

某些任务驱动有专门的 IPv6 配置选项。例如 Docker 驱动：

task "example" {
  driver = "docker"
  config {
    network_mode = "bridge"
    ipv6 = true
  }
}

最佳实践

DNS 解析：建议使用 DNS 名称而非直接 IP 地址，这样可以简化配置并提高灵活性。
地址选择：使用 go-sockaddr 模板动态选择 IPv6 地址，避免硬编码。
防火墙配置：确保所有必要的 IPv6 端口都已开放，包括：
- Serf 端口（默认 4648）
- RPC 端口（默认 4647）
- HTTP API 端口（默认 4646）
双栈支持：考虑同时配置 IPv4 和 IPv6，确保向后兼容性。
网络观测：实施 IPv6 特定的网络观测，确保连接质量。