11、数据中心网络底层路由与多播流量处理解析

关注

原创最新推荐文章于 2026-06-16 16:59:36 发布 796 阅读 AI 写同款· GEO 优化 ›

数据中心网络底层路由与多播流量处理解析

1. 网络维护时的隔离操作

在网络维护或其他可能造成干扰的操作期间，可通过关闭与网络虚拟边缘（NVE）或虚拟隧道端点（VTEP）关联的第一个环回接口，从底层路由的角度隔离网络交换机。这样做能在不关闭覆盖层和底层可达性的情况下，对底层网络进行故障排除，避免不必要的流量中断。

2. 底层网络的 IP 地址需求

除了连接脊叶网络所需的接口 IP 分配外，脊交换机还有额外的 IP 地址需求。纯脊交换机通常用于实现承载 VTEP 的叶交换机之间的连接，自身不承载 NVE 接口，因此无法提供 VXLAN 封装/解封装功能。这种情况下，脊交换机只需一个环回接口，用于底层路由协议的路由器 ID（RID）以及 BGP 路由反射器的标识。

底层网络不仅要支持单播可达性，还需传输多目的地流量。IP 组播常用于底层网络的多播路由，这就需要分配和识别合适的组播会合点（RP）。在脊叶拓扑中，脊交换机是承载 RP 的理想选择，因此可能需要额外的环回接口供 RP 使用。

对于 RP 冗余问题，本文主要讨论 PIM 任播源组播（PIM ASM）的任播 RP 和双向 PIM（PIM BiDir）的幻影 RP。为解决 RP 冗余和负载均衡问题，需要有可用的 IP 地址。对于 PIM ASM，一个额外的环回接口用于任播 RP 地址分配即可，仅需一个 /32 前缀的 IP 地址；而 PIM BiDir 和幻影 RP 则需要更多 IP 地址来提供冗余和负载均衡，因此需要一个适当大小的专用子网。

为减少路由表的大小，可考虑对这些 IP 地址进行聚合前缀或聚合操作。底层网络的聚合选项如下：
- 一个单一的 IP 子网用于所有点对点（P2P）接口子网。
- 一个单一的 IP 子网用于所有 RIDs 和 NVE 接口（可根据需要拆分为单独的 IP 聚合）。
- 一个单一的 IP 子网用于幻影 RP。

3. IP 单播路由

单播路由可通过多种路由协议在底层网络中实现。在多级脊叶拓扑中，链路状态和距离矢量这两类内部网关协议（IGP）表现出了高效的功能。链路状态 IGP 基于最短路径优先（SPF）算法，适合脊叶网络。脊交换机为叶交换机之间提供多条等价路径，基于 SPF 的协议会考虑所有这些链路及其速度，以计算通过网络的单条最佳路径或多条等价最佳路径。

与以太网网络中占主导地位的生成树协议（STP）相比，基于 IP 的底层网络的等价多路径（ECMP）是其最大优势之一。

边界网关协议（BGP）作为底层路由协议也有其价值，但它是一种路径矢量协议（PVP），仅考虑自治系统（AS）来计算路径。不过，经验丰富的网络工程师可以使用 BGP 实现与其他基于 SPF 的路由协议相当的效果。

3.1 OSPF 作为底层协议

开放最短路径优先（OSPF）是一种广泛应用的 IGP，在许多局域网（LAN）、广域网（WAN）和数据中心核心网络环境中都有使用。它在行业内的各种网络组件（路由器、交换机、服务设备等）中广泛可用，具有很强的互操作性。

OSPF 用于以太网接口的默认接口类型是“广播”，这会导致指定路由器（DR）和/或备份指定路由器（BDR）的选举，从而减少包含路由更新的控制流量。但在像底层网络这样的 P2P 网络中，这种选举是不必要的。

将接口类型更改为点对点可以避免 DR/BDR 选举过程，减少叶交换机和脊交换机之间建立 OSPF 邻接关系所需的时间。同时，在点对点接口模式下，不需要类型 2 的链路状态通告（LSA），只需要类型 1 的 LSA，从而确保 OSPF LSA 数据库保持精简，减少拓扑变化后网络收敛所需的时间。

以下是一个典型的 OSPF 配置示例及相应的显示输出：

interface Ethernet2/1
   no switchport
   mtu 9216
   ip address 10.1.1.0/31
   ip ospf network point-to-point
   ip router ospf UNDERLAY area 0.0.0.0
   ip pim sparse-mode
   no shutdown

LEAF11# show ip ospf interface Ethernet 2/1

Ethernet2/1 is up, line protocol is up
      IP address 10.1.1.0/31, Process ID UNDERLAY VRF default, area 0.0.0.0
      Enabled by interface configuration
      State P2P, Network type P2P, cost 1
      Index 3, Transmit delay 1 sec
      1 Neighbors, flooding to 1, adjacent with 1
      Timer intervals: Hello 10, Dead 40, Wait 40, Retransmit 5
         Hello timer due in 00:00:05
      No authentication
      Number of opaque link LSAs: 0, checksum sum 0

使用 OSPF 作为底层 IGP 的关键要点如下：
- 使用网络类型设置为点对点的 OSPF。
- 了解 OSPF 使用的 LSA 类型以及 LSA 泛洪的注意事项。
- 了解 OSPFv2 对 IPv4 和 OSPFv3 对 IPv6 的支持要求。

3.2 IS - IS 作为底层协议

中间系统到中间系统（IS - IS）是另一种链路状态路由协议，也使用 SPF 算法来计算通过网络的最短无环路径。与 OSPF 不同，IS - IS 是 ISO 标准化的路由协议，IETF 将其重新发布为 RFC 1195。IS - IS 在服务提供商网络之外尚未广泛普及，可能是因为它不运行在 IP 层，而是位于第 2 层，使用无连接网络服务（CLNS）形成邻接关系。

IS - IS 独立于用于形成路由对等体的 IP 地址，可以在同一路由交换中传输任何类型的地址（IPv4 和 IPv6）。但它需要一种不同的寻址协议来唯一标识中间系统（路由器），即 IS - IS 网络实体标题（IS - IS - NET），这是 CLNS 的网络层地址（网络服务访问点 [NSAP] 地址）。

以下是一个在思科 Nexus 交换机上的 IS - IS 配置示例：

feature isis

router isis UNDERLAY
   net 49.0001.0100.1001.0001.00

interface Ethernet2/1
   no switchport
   mtu 9216
   ip address 10.1.1.0/31
   ip router isis UNDERLAY
   medium p2p
   ip pim sparse-mode
   no shutdown

在 IS - IS 中，IP 信息包含在链路状态数据包（LSP）的类型 - 长度 - 值（TLV）中。由于 IP 前缀始终被视为外部的，在这种配置下，当 IP 网络发生变化时，不需要运行完整的 SPF 计算。IS - IS 路由器（节点）信息在 IS 邻居或 IS 可达性 TLV 中单独通告，这种方法将拓扑与 IP 信息分离，允许进行部分路由计算。因此，IS - IS 在处理 IP 路由变化时的开销要小得多，因为拓扑不受影响。

IS - IS 的关键要点如下：
- IS - IS 基于 CLNS 并使用 NSAP 寻址。
- IS - IS 使用独立于 IP 的路由协议。
- 拓扑与 IP 路由前缀保持独立。

3.3 BGP 作为底层协议

边界网关协议（BGP）是一种路径矢量路由协议，用于在不同自治系统（AS）之间交换路由和可达性信息。BGP 在根据路径、网络策略和/或网络工程师配置的规则集进行路由决策方面表现良好，但与基于 SPF 的路由协议相比，在脊叶底层网络中需要更多的设计和配置时间。

BGP 最初用于不同 AS 之间的可达性通信，即外部 BGP（eBGP），后来扩展支持同一 AS 内不同对等体之间的通信，即内部 BGP（iBGP）。iBGP 常用于承载覆盖层 EVPN 可达性信息。如果使用 eBGP 作为底层协议，并且需要为覆盖层交换 EVPN 可达性信息，则需要一些额外的考虑。

在 eBGP 中，下一跳属性总是被设置，这意味着路由的邻居成为下一跳。在脊叶拓扑中，这可能不合适，因为脊交换机通常不承载 VTEP 接口，无法进行 VXLAN 流量的封装/解封装。因此，叶交换机发出的关于其本地连接主机或前缀的 EVPN 通告需要由脊交换机转发给其他叶交换机，且下一跳属性保持不变，这样才能实现叶到叶的端到端 VXLAN 隧道。

以下是设置 eBGP 下一跳属性不变的配置示例：

route-map NH - UNCHANGED permit 10
     set ip next - hop unchanged

router bgp 65501
     address - family l2vpn evpn
          nexthop route - map NH - UNCHANGED

neighbor 10.1.1.1 remote - as 65500
     address - family l2vpn evpn
          send - community both
          route - map NH - UNCHANGED out

由于 eBGP 用于底层和覆盖层，建议为 EVPN 地址族（即覆盖层）单独建立 BGP 对等关系。底层 eBGP 对等是物理接口到物理接口，而覆盖层 BGP 对等是环回接口到环回接口（eBGP 多跳）。

为了使所有叶交换机都能收到 EVPN 信息，需要启用“retain Route - Target all”旋钮，使 eBGP 邻居在 EVPN 地址族中起到路由反射器的作用。

router bgp 65500
     address - family l2vpn evpn
          retain route - target all

eBGP 有两种模型：双 AS 模型和多 AS 模型。双 AS 模型中，所有脊交换机属于一个 AS，所有叶交换机属于另一个 AS；多 AS 模型中，所有脊交换机属于一个 AS，每个叶交换机（或虚拟端口通道 [vPC] 中的叶交换机对）属于一个唯一的 AS。

在双 AS 模型中，由于源 AS 与目的 AS 相同时会发生 AS 路径违规，需要进行一些调整。例如，在接收来自与叶交换机相同 AS 的远程路由器的 eBGP 更新时，需要在脊交换机上禁用对等 AS 检查（使用“disable - peer - as - check”配置），并在叶交换机上允许 AS 内路由（使用“allowas - in”配置）。

# 脊交换机配置
router bgp 65500
      router - id 10.10.10.201
neighbor 10.1.1.0 remote - as 65501
            address - family ipv4 unicast
                  send - community both
                  disable - peer - as - check
            address - family l2vpn evpn
                  send - community both
                  disable - peer - as - check

# 叶交换机配置
router bgp 65501
      router - id 10.10.10.1
neighbor 10.1.1.1 remote - as 65500
      address - family ipv4 unicast
                  allowas - in
            address - family l2vpn evpn
                  send - community both
                  allowas - in

eBGP 作为底层选项的关键要点如下：
- BGP 有双 AS 和多 AS 两种不同的模型。
- 需要进行一些 BGP 对等配置工作。
- 对覆盖层控制协议有影响。

4. IP 单播路由总结

底层协议的选择对覆盖层控制协议的功能有重大影响。使用相同的协议用于底层和覆盖层可能会模糊这两个域的清晰分离。因此，在设计覆盖网络时，独立构建传输网络是一种良好的实践，就像 MPLS 网络几十年来所做的那样。这种底层和覆盖层控制协议的分离为传输网络提供了一个非常精简的路由域，仅由环回和 P2P 接口组成。同时，覆盖层的 MAC 和 IP 可达性存在于不同的协议（BGP）中，这为网络提供了高度可扩展性。

基于链路状态和 SPF 启发式的 IGP 对于 ECMP 网络是最优的，即使数据中心网络涉及数百台路由器。使用 BGP 用于底层和覆盖层的主要优势是只使用一种路由协议，但需要在叶和脊交换机上进行额外的配置。

对于 BGP EVPN VXLAN 网络，建议验证所需覆盖层服务的收敛要求。底层收敛应独立于覆盖层收敛进行测试，以最终决定使用哪种 IGP 作为底层协议。采用分层方法来衡量预期并评估结果与预期的差异是很有价值的。理想情况下，底层网络的构建应从下到上，各个步骤相互依赖。在构建网络覆盖层时，一个重要的指导原则是先构建底层网络，彻底测试，然后再构建覆盖层。

5. 多目的地流量处理

多目的地流量包括广播、未知单播和组播（BUM）等类型。底层网络必须提供一种方式来在边缘设备之间传输 BUM 流量。VXLAN 有两种不同的处理 BUM 流量的方式：
- 单播模式，也称为入口复制或头端复制，可创建一个独立于组播的底层网络。
- 组播模式，在底层网络中使用 IP 组播。

通过对上述内容的分析，我们可以清晰地了解数据中心网络底层路由的选择、配置以及多目的地流量的处理方式，这对于构建高效、可靠的网络架构至关重要。在实际应用中，网络工程师应根据具体的网络需求、规模和性能要求，综合考虑各种因素，选择最合适的路由协议和配置方案。

数据中心网络底层路由与多播流量处理解析

6. 底层网络 IP 地址聚合策略分析

在数据中心底层网络中，合理的 IP 地址聚合是优化路由表的关键。通过聚合，可以减少路由表的条目数量，提高路由查找的效率，降低网络设备的处理负担。

聚合类型	适用场景	优势
单一 IP 子网用于所有 P2P 接口子网	适用于 P2P 链路较多且地址分配较为集中的情况	简化路由表，减少路由条目
单一 IP 子网用于所有 RIDs 和 NVE 接口	当 RIDs 和 NVE 接口地址关联性较强时使用	便于管理和维护，可根据需要拆分
单一 IP 子网用于 Phantom RP	专门为 Phantom RP 提供独立的地址空间	确保 Phantom RP 的冗余和负载均衡

下面通过一个 mermaid 流程图来展示 IP 地址聚合的决策过程：

graph TD;
    A[确定网络需求] --> B[分析 P2P 接口情况];
    B --> C{P2P 接口集中?};
    C -- 是 --> D[选择单一子网聚合 P2P 接口];
    C -- 否 --> E[考虑其他聚合方式];
    A --> F[分析 RIDs 和 NVE 接口];
    F --> G{关联性强?};
    G -- 是 --> H[选择单一子网聚合 RIDs 和 NVE 接口];
    G -- 否 --> E;
    A --> I[分析 Phantom RP 需求];
    I --> J{需要冗余和负载均衡?};
    J -- 是 --> K[选择单一子网用于 Phantom RP];
    J -- 否 --> E;
    D --> L[实施聚合配置];
    H --> L;
    K --> L;
    E --> M[定制聚合方案];
    M --> L;

在实施 IP 地址聚合时，需要注意以下几点操作步骤：
1. 收集网络中所有的 IP 地址信息，包括 P2P 接口、RIDs、NVE 接口和 Phantom RP 的地址。
2. 根据聚合类型的适用场景，分析各个地址段的关联性和特点。
3. 选择合适的聚合方式，并制定详细的聚合方案。
4. 在网络设备上进行聚合配置，确保配置的准确性和一致性。
5. 对聚合后的路由表进行测试和验证，检查路由的可达性和性能。

7. 不同路由协议的特点对比

在数据中心网络中，OSPF、IS - IS 和 BGP 这三种路由协议各有特点，适用于不同的场景。以下是它们的详细对比：

路由协议	协议类型	适用网络	优势	劣势
OSPF	链路状态协议	LAN、WAN、数据中心核心网络	互操作性强，广泛应用；可通过调整接口类型优化性能	IP 前缀变化会触发全量 SPF 计算；IPv4 和 IPv6 需不同版本
IS - IS	链路状态协议	主要在服务提供商网络	独立于 IP 寻址，可传输多种地址；拓扑与 IP 信息分离，处理 IP 变化开销小	标准化程度低，在非服务提供商网络普及度不高
BGP	路径矢量协议	自治系统间路由	可根据策略和规则进行路由决策；适用于大规模网络	设计和配置复杂，收敛速度慢

通过这个表格，网络工程师可以根据具体的网络需求和场景，选择最合适的路由协议。例如，如果网络需要高度的互操作性和广泛的应用支持，OSPF 可能是一个不错的选择；如果需要独立于 IP 寻址和处理 IP 变化的低开销，IS - IS 可能更合适；而对于大规模的自治系统间路由和基于策略的路由决策，BGP 则是首选。

8. eBGP 模型的详细分析

eBGP 有双 AS 模型和多 AS 模型，这两种模型在配置和应用上有很大的区别。

8.1 双 AS 模型

在双 AS 模型中，所有脊交换机属于一个 AS，所有叶交换机属于另一个 AS。这种模型的优点是配置相对简单，但由于源 AS 与目的 AS 相同时会发生 AS 路径违规，需要进行一些特殊的配置调整。具体操作步骤如下：
1. 在脊交换机上，禁用对等 AS 检查：

router bgp 65500
      router - id 10.10.10.201
neighbor 10.1.1.0 remote - as 65501
            address - family ipv4 unicast
                  send - community both
                  disable - peer - as - check
            address - family l2vpn evpn
                  send - community both
                  disable - peer - as - check

在叶交换机上，允许 AS 内路由：

router bgp 65501
      router - id 10.10.10.1
neighbor 10.1.1.1 remote - as 65500
      address - family ipv4 unicast
                  allowas - in
            address - family l2vpn evpn
                  send - community both
                  allowas - in

8.2 多 AS 模型

在多 AS 模型中，所有脊交换机属于一个 AS，每个叶交换机（或虚拟端口通道 [vPC] 中的叶交换机对）属于一个唯一的 AS。这种模型类似于互联网的概念，每个节点有唯一的 AS。配置时，叶交换机需要为每个与脊交换机的连接创建不同的 BGP 对等关系，使用物理接口的 IP 地址进行对等。同时，需要通过 BGP 宣布或重分发逻辑 IP 接口（环回接口），以实现 VTEPs、RPs 等的可达性。

以下是多 AS 模型中 BGP 对等关系创建的操作步骤：
1. 确定叶交换机和脊交换机的物理接口 IP 地址。
2. 在叶交换机上，为每个与脊交换机的连接创建 BGP 对等关系：

router bgp <本地 AS 号>
neighbor <脊交换机物理接口 IP 地址> remote - as <脊交换机 AS 号>
address - family <地址族>
send - community both

宣布或重分发逻辑 IP 接口：

router bgp <本地 AS 号>
address - family <地址族>
network <逻辑接口 IP 地址/前缀>

9. 多目的地流量处理方式的选择

VXLAN 处理多目的地流量（BUM）有单播模式和组播模式两种方式，选择合适的方式需要考虑多个因素。

处理方式	特点	适用场景	优势	劣势
单播模式（入口复制/头端复制）	独立于组播，通过单播复制流量	组播支持不完善的网络	无需组播配置，灵活性高	流量复制开销大，可能导致网络拥塞
组播模式（IP 组播）	使用 IP 组播传输流量	组播支持良好的网络	高效传输，减少流量复制开销	需要配置组播路由，网络复杂度增加

在选择处理方式时，可以参考以下操作步骤：
1. 评估网络的组播支持能力，包括网络设备是否支持组播路由、组播配置是否复杂等。
2. 分析 BUM 流量的规模和频率，如果流量较大且频繁，组播模式可能更合适；如果流量较小且网络组播支持不完善，单播模式可能是更好的选择。
3. 根据网络的可靠性要求，考虑单播模式的流量复制开销是否会影响网络的可靠性，以及组播模式的配置复杂度是否会增加网络故障的风险。
4. 进行测试和验证，在实际网络环境中测试两种处理方式的性能和效果，根据测试结果做出最终选择。

10. 综合考虑与实践建议

在构建数据中心网络时，需要综合考虑底层路由协议的选择、IP 地址聚合、eBGP 模型的应用以及多目的地流量处理方式等多个方面。以下是一些实践建议：
1. 对于底层路由协议，优先选择基于链路状态和 SPF 启发式的 IGP（如 OSPF 或 IS - IS），因为它们在 ECMP 网络中表现最优。如果需要基于策略的路由决策和大规模自治系统间路由，可以考虑使用 BGP，但需要进行额外的配置和优化。
2. 在进行 IP 地址聚合时，根据网络的实际情况选择合适的聚合方式，确保路由表的精简和高效。同时，定期检查和调整聚合配置，以适应网络的变化。
3. 对于 eBGP 模型，根据网络的规模和管理需求选择双 AS 模型或多 AS 模型。在配置过程中，注意处理 AS 路径违规问题，确保 BGP 对等关系的正常建立和运行。
4. 在处理多目的地流量时，根据网络的组播支持能力和 BUM 流量的特点，选择单播模式或组播模式。同时，进行充分的测试和验证，确保所选方式的性能和可靠性。
5. 采用分层方法构建网络，先构建底层网络，进行彻底的测试和优化，然后再构建覆盖层。在整个过程中，密切关注网络的性能和可靠性，及时调整配置和策略。

通过以上的分析和建议，网络工程师可以更好地理解数据中心网络底层路由和多目的地流量处理的相关知识，为构建高效、可靠的网络架构提供有力的支持。