27、数据中心网络 VXLAN BGP EVPN 部署与运维全解析

原创于 2025-12-13 10:43:47 发布 · 842 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#VXLAN # BGP EVPN # 数据中心网络

数据中心网络 VXLAN BGP EVPN 部署与运维全解析

1. 网络设备自动化部署

新交换机拆箱、连接线缆并通电后，与设备角色和身份相关的特定配置会自动应用，无需手动配置。Day - 0 自动化为无人值守的网络设备设置提供了巨大价值，简化了数据中心基础设施生命周期的运营流程。

Day - 0.5 操作涉及在 Day - 0 自动化之后，因新需求或随着时间增加其他服务器或计算节点而可能需要的增量更改。例如，为面向主机的接口配置额外的虚拟端口通道。在大多数实际场景中，这些配置信息在 Day - 0 启动网络交换机时不可用，因此 Day - 0.5 操作需求很常见。根据所使用的工具、软件和操作模型，接口配置可能会直接嵌入到 Day - 1 配置覆盖服务的过程中。

对于基于 Clos 的脊叶式架构，验证各个交换机之间的连接性是重要步骤。需要验证电缆规划，确保实际连接与预期设计相符。可以通过将每个交换机的 CDP 或 LLDP 输出与电缆规划进行交叉检查来完成。这不是一次性过程，需要持续监控，因为连接可能会意外更改或出现错误连接。Cisco Nexus 交换机的电缆管理功能可独立或与 DCNM 结合使用，减轻连接验证负担，网络管理员可创建“黄金”连接电缆规划并导入交换机，交换机将自行验证当前物理连接。

2. Day - 1 操作：覆盖服务管理

VXLAN BGP EVPN 覆盖需要额外的配置步骤。除了传统的 VLAN 配置，还需要配置 VXLAN VNIs 以扩展桥接域。特定于 BGP EVPN 控制平面的服务包括分布式 IP 任播网关、VRFs、第 3 层 VNIs 和第 3 层 SVIs 等。通用服务如 NVE 接口（VTEP）、多播组、EVPN 实例（EVI）和相关的 BGP 配置也需要进行配置。

为了实现一致、正确和高效的配置，需要进行覆盖服务管理来对齐所有第 2 层和第 3 层配置。管理不同的命名空间（VLAN、VNIs 和 IP 子网）对于确保本地资源的可重用性和避免全局资源重叠至关重要。发现所有参与 VXLAN VTEP 的设备是将所有功能导入覆盖服务管理的关键要求，这不仅适用于 VXLAN BGP EVPN 网络，还扩展到外部连接和数据中心互连（DCI）组件。

实现端到端的可见性和监控可以使资源放置在特定的未充分利用的网段上。资源放置可以由计算管理器通过北向 API 发送的通知触发，也可以由管理员通过 GUI、脚本或 CLI 进行手动配置。

自动化覆盖服务供应有两种常见模型：
- 推送模型 ：将配置片段推送到适当的网络设备。该模型对网络交换机要求较低，但扩展性较差，因为它是集中式的，需要单独管理每个网络交换机。
- 拉取模型 ：网络设备负责下载所需的配置。该模型对网络交换机要求较高，但负载分布在所有叶交换机上，提供了更具扩展性的选项。

除了使用 CLI 进行覆盖供应，还可以使用更现代的 API 调用方法。与 CLI 相比，API 调用更高效、灵活。

3. 相关工具介绍

Virtual Topology System (VTS) ：专注于提供覆盖服务的面向服务的工具，使用基于 NX - API 的推送模型。它与 OpenStack 和 VMware vCenter 等紧密集成，可实现端点位置感知，从而在相关交换机上提供第 2 层或第 3 层覆盖服务。VTS 还提供软件虚拟拓扑转发器（VTF），可在计算服务器上作为虚拟 VTEP 运行。此外，VTS 还能集成外部连接和第 4 - 7 层服务拼接自动化，并依赖 DCNM 实现底层网络的供应和自动化。
Nexus Fabric Manager (NFM) ：为部署 VXLAN BGP EVPN 网络提供一站式解决方案，具有集成的控制引擎，能够对通过 CLI 输入的潜在错误配置做出反应。它不仅提供覆盖服务管理，还能通过自动织物供应（AFP）进行初始织物设置。目前，NFM 专门管理和配置 Nexus 9000 系列交换机。
Data Center Network Manager (DCNM) ：提供底层和覆盖管理，支持推送和拉取两种模型进行覆盖服务管理。它利用 POAP 服务提供自动化的底层网络，并通过模板驱动的工作流程实现 VXLAN BGP EVPN 网络的供应。DCNM 还能集成边界叶和外部路由器，支持所有基于 Cisco NX - OS 的交换机，包括 Cisco MDS SAN 平台。

除了 Cisco 的商业产品，还有一些开源工具可用于覆盖服务配置，如 Puppet、Chef 和 Ansible 等。Ansible 和 Puppet 为 Cisco NX - OS 提供了 VXLAN BGP EVPN 选项，Python 也可用于自动化配置。

4. 计算集成

网络自动化的计算集成可以通过多种方式实现：
- 自上而下的集成 ：控制器通过 API 或注册回调将配置请求发送到覆盖服务管理器，基于端点的上下线情况触发配置。OpenStack 和 Cisco UCS Director 与 DCNM 结合使用可以实现更灵活的网络配置。
- 网络交换机与计算管理器的集成 ：网络交换机与虚拟机管理器（VMM）结合，根据虚拟机层的特定操作将相关信息直接发送到注册的网络交换机。Cisco 的 VM Tracker 功能可实现 VMM 与网络交换机之间的通信，使用基于拉取的模型进行覆盖配置供应。

5. Day - 2 操作：监控和可见性

VXLAN BGP EVPN 架构由 VXLAN 数据平面封装和基于 BGP 的 EVPN 控制协议两个关键元素组成。网络运营商通常首先验证 BGP 功能，因为这是显示相关可达性信息的重要步骤。

验证第 2 层 MAC 地址信息和第 3 层 IP 地址信息的学习情况是一个很好的起点。以下是具体的验证步骤和示例：
- 验证本地 MAC 地址表 ：

L11# show mac address-table
Legend:
        * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - overlay MAC
        age - seconds since last seen,+ - primary entry using vPC Peer-Link,
        (T) - True, (F) - False
 VLAN         MAC Address      Type         age       Secure NTFY Ports
---------+-----------------+--------+---------+------+----+------------------
* 100    0011.0100.0001   dynamic 0     F      F    Eth2/1

此示例验证了 MAC 地址 0011.0100.0001 在 VLAN 100 的 Ethernet 2/1 接口上被学习到。

验证 MAC 地址在 L2RIB 中的广告 ：

L11# show l2route evpn mac all
Topology    Mac Address    Prod  Next Hop (s) 
----------- -------------- ------ ---------------
100       0011.0100.0001   Local   Eth2/1

此输出显示了本地学习的 MAC 地址在拓扑 100 中的存在。

验证 VLAN 到第 2 层 VNI 的映射 ：

L11# show vlan id 100 vn-segment
VLAN  Segment-id
----      -----------
100      30000

验证 MAC 地址在 BGP EVPN 中的广告 ：

L11# show bgp l2vpn evpn vni-id 30000
BGP routing table information for VRF default, address family L2VPN EVPN
BGP table version is 1670, local router ID is 10.100.100.11
Status: s-suppressed, x-deleted, S-stale, d-dampened, h-history, *-valid, >-best
Path type: i-internal, e-external, c-confed, l-local, a-aggregate, r-redist, I-injected
Origin codes: i - IGP, e - EGP, ? - incomplete, | - multipath, & - backup
   network            Next Hop            Metric       LocPrf                          Weight Path
Route Distinguisher: 10.100.100.11:32867    (L2VNI 30000)
*>l[2]:[0]:[0]:[48]:[0011.0100.0001]:[0]:[0.0.0.0]/216
                     10.200.200.11                         100                          32768 i
*>l[2]:[0]:[0]:[48]:[0011.0100.0001]:[32]:[192.168.100.200]/272
                     10.200.200.11                         100                          32768 i

通过在本地和远程叶交换机上执行 show bgp 命令，可以验证本地广告是否与配置的属性匹配，以及是否在远程站点接收到适当的前缀。

验证远程叶交换机上的 MAC 地址学习 ：

L12# show l2route evpn mac all
Topology      Mac Address   Prod   Next Hop (s) 
-----------   -------------- ------ ---------------
100       0011.0100.0001 BGP   10.200.200.11

L12# show mac address-table
Legend:
      * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - overlay MAC
      age - seconds since last seen,+ - primary entry using vPC Peer-Link,
      (T) - True, (F) - False
   VLAN    MAC Address      Type      age    Secure NTFY Ports
---------+-----------------+--------+---------+------+----+------------------
* 100    0011.0100.0001   dynamic 0       F      F    nve1(10.200.200.11)

验证 ARP 信息 ：

L11# show ip arp vrf Org1:Part1
Flags: * - Adjacencies learnt on non-active FHRP router
         + - Adjacencies synced via CFSoE
         # - Adjacencies Throttled for Glean
         D - Static Adjacencies attached to down interface
IP ARP Table for context Org1:Part1
Total number of entries: 1
Address                Age               MAC Address           Interface
192.168.100.200  00:13:58      0011.0100.0001         Vlan100

通过以上步骤，可以确保信息从 ARP 传递到 AM 再到 HMM 和 L2RIB，并验证 MAC 和 IP 地址在 BGP 中的本地学习和广告，以及在远程叶交换机上的导入和安装情况。

以下是 VXLAN BGP EVPN 网络验证流程的 mermaid 流程图：

graph TD;
    A[验证本地 MAC 地址表] --> B[验证 MAC 地址在 L2RIB 中广告];
    B --> C[验证 VLAN 到第 2 层 VNI 映射];
    C --> D[验证 MAC 地址在 BGP EVPN 中广告];
    D --> E[本地和远程叶交换机验证 BGP 前缀];
    E --> F[验证远程叶 MAC 地址学习];
    F --> G[验证 ARP 信息];

通过这些监控和验证步骤，可以确保 VXLAN BGP EVPN 网络的正常运行，并及时发现和解决潜在问题。但需要注意的是，可能仍然存在特定于硬件编程的潜在问题，可参考相关 Nexus 交换机的特定指南进行验证。

数据中心网络 VXLAN BGP EVPN 部署与运维全解析

6. 持续验证与监控

在完成上述基本验证步骤后，还需要持续对 VXLAN BGP EVPN 网络进行验证和监控，以确保网络的稳定性和可靠性。以下是一些持续验证和监控的要点：
- 定期检查路由信息 ：定期使用 show bgp l2vpn evpn 命令检查 BGP EVPN 路由信息，确保路由的正确性和稳定性。例如，检查路由的下一跳、度量值、本地优先级等信息是否符合预期。
- 监控 VTEP 状态 ：使用 show nve peers detail 命令监控 VTEP 对等体的状态，确保 VTEP 之间的连接正常。检查对等体的状态、运行时间、配置的 VNIs 等信息。
- 流量监控 ：通过流量监控工具，如 NetFlow 或 sFlow，监控网络中的流量情况。检查流量是否正常，是否存在异常流量或拥塞情况。

以下是一个持续验证和监控的任务列表：
| 任务 | 命令 | 频率 |
| ---- | ---- | ---- |
| 检查 BGP EVPN 路由信息 | show bgp l2vpn evpn | 每天 |
| 监控 VTEP 状态 | show nve peers detail | 每小时 |
| 流量监控 | 使用 NetFlow 或 sFlow | 实时 |

7. 故障排除方法

在 VXLAN BGP EVPN 网络运行过程中，可能会遇到各种故障。以下是一些常见故障及相应的排除方法：
- MAC 地址学习故障 ：如果发现 MAC 地址无法正常学习，可能是由于接口故障、VLAN 配置错误或 BGP EVPN 配置问题导致的。可以通过检查接口状态、VLAN 配置和 BGP EVPN 路由信息来排查问题。
- 路由故障 ：如果路由信息不正确或无法正常传播，可能是由于 BGP 邻居关系故障、路由目标配置错误或路由反射器配置问题导致的。可以通过检查 BGP 邻居状态、路由目标配置和路由反射器配置来排查问题。
- VTEP 连接故障 ：如果 VTEP 之间的连接不正常，可能是由于物理链路故障、IP 地址配置错误或 VXLAN 封装问题导致的。可以通过检查物理链路状态、IP 地址配置和 VXLAN 封装信息来排查问题。

以下是故障排除的 mermaid 流程图：

graph TD;
    A[出现故障] --> B[确定故障类型];
    B --> C{MAC 地址学习故障};
    C -- 是 --> D[检查接口、VLAN 和 BGP EVPN 配置];
    C -- 否 --> E{路由故障};
    E -- 是 --> F[检查 BGP 邻居、路由目标和路由反射器配置];
    E -- 否 --> G{VTEP 连接故障};
    G -- 是 --> H[检查物理链路、IP 地址和 VXLAN 封装信息];
    D --> I[解决问题];
    F --> I;
    H --> I;

8. 总结与最佳实践

通过对 VXLAN BGP EVPN 网络的部署、配置、验证和监控的详细介绍，我们可以总结出以下最佳实践：
- 自动化部署 ：利用 Day - 0 自动化和相关工具（如 VTS、NFM 和 DCNM）实现网络设备的自动化部署，简化操作流程，提高部署效率。
- 合理配置覆盖服务 ：根据网络需求，合理配置 VXLAN VNIs、VRFs、SVIs 等覆盖服务，确保网络的可扩展性和灵活性。
- 持续监控与验证 ：定期对网络进行监控和验证，及时发现和解决潜在问题，确保网络的稳定性和可靠性。
- 故障排除能力 ：掌握常见故障的排除方法，提高故障排除能力，减少故障对业务的影响。

总之，VXLAN BGP EVPN 网络为数据中心提供了强大的二层和三层服务，通过合理的部署和运维，可以实现高效、灵活和可靠的网络环境。在实际应用中，需要根据具体的网络需求和环境，选择合适的工具和配置方法，确保网络的顺利运行。

以上就是关于 VXLAN BGP EVPN 网络的全面介绍，希望对大家有所帮助。在实际操作中，还需要不断学习和实践，积累经验，以应对各种复杂的网络情况。