29、云数据中心网络解决方案组件解析-优快云博客

本文链接：https://blog.youkuaiyun.com/d6e7f8/article/details/149967402

云数据中心网络解决方案组件解析

1. 云数据中心网络物理层技术

在云数据中心网络（DCN）解决方案中，物理层的光层通道可采用（4 × 100 Gbit/s PAM4）或者成熟的 28 Gbit/s 激光技术（8 × 50 Gbit/s）。目前，供应商倾向于在电气组件上使用 4 × 56 Gbit/s PAM4，在光学组件上使用现有的 28 Gbit/s 组件。

虽然 200GE 的标准化工作比 400GE 启动得晚，但 200GE 光模块更容易实现。在数据中心（DC）场景中，200GE 光模块可能在 400GE 光模块之前就已投入使用，这促使 200GE 光模块走向成熟并大规模发展。随着对单波长 100GE 技术的深入研究，预计短距离 400GE 光模块将在 DC 场景中更受欢迎。

2. 遥测技术

2.1 背景

随着网络服务需求的增长和服务类型的增多，网络管理变得复杂，对网络监控提出了更高要求。4G/5G 通信标准的建立、网络设备传输能力的不断增强以及软件定义网络（SDN）的持续演进，都需要更高的网络质量。网络需要高精度的监控数据来快速检测微突发流量，并且监控过程要尽量减少对设备功能和性能的影响，以提高设备和网络效率。

传统网络监控技术（如 SNMP Get 和 CLI）存在以下缺点：
- 需要拉取（请求）设备监控数据，限制了可监控的设备数量，进而限制了网络的发展。
- 只能每隔几分钟获取一次网络设备数据。为提高数据精度而增加数据获取频率，会消耗网络设备更多的 CPU 资源，对设备功能产生负面影响。
- 由于网络传输延迟，网络节点的监控数据不准确。

遥测技术应运而生，旨在消除上述缺点，实现大规模、高性能的网络监控。

2.2 实现

遥测技术使智能运维（O&M）系统能够管理更多设备，为快速定位网络故障和优化网络质量奠定基础。它将网络质量分析转化为大数据分析，有效支持智能运维。以下是遥测技术相对于 SNMP Get 的优势：
1. 样本数据以推送模式上传，增加监控节点数量
- 在 SNMP 中，网络管理系统（NMS）和设备以拉取模式交互，交替发送请求和响应。如果第一分钟需要发送 1000 个查询请求，那么 SNMP 查询请求会被解析 1000 次，后续每分钟都重复此过程，这会消耗设备的 CPU 资源，因此必须限制监控节点的数量以确保设备正常运行。
- 在遥测技术中，NMS 和设备以推送模式交互。第一分钟，NMS 向设备发送 1000 个订阅包，设备解析这些订阅包 1000 次。但与 SNMP 不同的是，设备会记录 NMS 的订阅信息，后续分钟内 NMS 不再向设备发送订阅包，设备会根据记录的订阅信息自动、持续地向 NMS 推送数据，从而节省设备的 CPU 资源，使更多设备能够被监控。
2. 样本数据在上传前进行打包，提高数据收集的时间精度
- 在 SNMP 中，设备每分钟需要解析大量查询请求，每个查询请求仅上传一条样本数据。解析这些请求会消耗设备的 CPU 资源，因此需要限制 NMS 发送查询请求的频率，这降低了数据收集的时间精度。大多数情况下，传统网络监控技术的采样精度在秒级。
- 在遥测技术中，设备仅在第一分钟解析订阅包。设备通过打包数据为订阅包更新多条样本数据，从而减少与 NMS 交换的数据包数量，使遥测技术的采样精度可以达到毫秒级。
3. 样本数据包含时间戳，提高样本数据的准确性
- 传统网络监控技术在样本数据中不使用时间戳，这意味着数据可能因网络传输延迟而不准确。
- 遥测技术在样本数据中使用时间戳。NMS 在解析数据时，可以确定样本数据的生成时间，从而消除网络传输延迟对样本数据的影响。

2.3 应用

遥测技术可以实现网络的自动闭环运维管理，具体流程如下：
1. 网络设备将样本数据报告给收集器进行存储。
2. 分析器对收集器中存储的样本数据进行分析，并将分析结果发送给控制器。
3. 控制器根据这些结果，将需要在网络上调整的配置下发给网络设备。
4. 配置生效后，设备将新的样本数据报告给收集器。
5. 分析器可以分析调整是否符合预期，以实现网络服务过程的闭环运维。

2.4 关键技术

遥测技术使用 YANG 模型来组织样本数据，使用 Google Protocol Buffers（GPB）或 JSON 对数据进行编码，然后使用 gRPC 将数据上传到收集器。
1. YANG 模型
不同供应商和标准组织为网络设备定义了多种 YANG 模型，包括：
- 华为模型
- IETF 模型
- OpenConfig 模型（主要由 Google 发起）
- 其他模型，如思科 YANG 模型
在 CloudEngine DC 交换机上，遥测技术使用华为 YANG 模型来组织样本数据，并与 OpenConfig 模型兼容。
2. GPB 编码格式
GPB 编码是一种与语言和平台无关的可扩展机制，用于序列化通信协议和数据存储的结构化数据。以下是 GPB 编码和解码的比较：
| GPB 编码 | GPB 解码 |
| — | — |
| {
1:”HUAWEI”
2:”s4”
3:”huawei-ifm:ifm/interfaces/interface”
4:46
5:1515727243419
6:1515727243514
7{
1[{
1: 1515727243419
2 {
5{
1[{
5:1
16:2
25:”Eth-Trunk1”
}]
}
}]
}
8:1515727243419
9:10000
10:”OK”
11:”CE6850HI”
12:0
} | {
“node_id_str”:”HUAWEI”,
“subscription_id_str”:”s4”,
“sensor_path”:”huawei-ifm:ifm/interfaces/interface”,
“collection_id”:46,
“collection_start_time”:”2018/1/12 11:20:43.419”,
“msg_timestamp”:”2018/1/12 11:20:43.514”,
“data_gpb”:{
“row”:[{
“timestamp”:”2018/1/12 11:20:43.419”,
“content”:{
“interfaces”:{
“interface”:[{
“ifAdminStatus”:1,
“ifIndex”:2,
“ifName”:”Eth-Trunk1”
}]
}
}
}]
},
“collection_end_time”:”2018/1/12 11:20:43.419”,
“current_period”:10000,
“except_desc”:”OK”,
“product_name”:”CE6850HI”,
“encoding”:Encoding_GPB
} |
3. JSON 编码格式
JSON 编码是一种轻量级的数据交换格式。它基于欧洲计算机制造商协会脚本（ECMAScript，JavaScript 的规范）的一个子集，使用独立于编程语言的文本格式来存储和表达数据，结构简单清晰，旨在使数据易于被人类读取或编译，以及被计算机解析或生成。以下是 JSON 编码和解码的比较：
| JSON 编码 | JSON 解码 |
| — | — |
| {
1:”HUAWEI”
2:”s4”
3:”huawei-ifm:ifm/interfaces/interface”
4:46
5:1515727243419
6:1515727243514
8:1515727243419
9:10000
10:”OK”
11:”CE12800”
12:1
14:{
“row”:[{
“timestamp”:”2018/1/12 11:20:43.419”,
“content”:{
“interfaces”:{
“interface”:[{
“ifAdminStatus”:1,
“ifIndex”:2,
“ifName”:”Eth-Trunk1”
}]
}
}
}]
}
} | {
“node_id_str”:”HUAWEI”,
“subscription_id_str”:”s4”,
“sensor_path”:”huawei-ifm:ifm/interfaces/interface”,
“collection_id”:46,
“collection_start_time”:”2018/1/12 11:20:43.419”,
“msg_timestamp”:”2018/1/12 11:20:43.514”,
“collection_end_time”:”2018/1/12 11:20:43.419”,
“current_period”:10000,
“except_desc”:”OK”,
“product_name”:”CE12800”,
“encoding”:Encoding_JSON,
“data_str”:{
“row”:[{
“timestamp”:”2018/1/12 11:20:43.419”,
“content”:{
“interfaces”:{
“interface”:[{
“ifAdminStatus”:1,
“ifIndex”:2,
“ifName”:”Eth-Trunk1”
}]
}
}
}]
}
} |
4. gRPC 协议
gRPC 是一个基于 HTTP/2 运行的开源、高性能通用远程过程调用（RPC）软件框架。它使开发人员能够创建服务，而无需关注底层通信协议。遥测技术使用 gRPC 协议将编码后的样本数据报告给收集器进行存储。gRPC 协议栈各层描述如下：
| 层 | 描述 |
| — | — |
| TCP 层 | 这是基于 TCP 连接的底层通信层 |
| 传输层安全（TLS）层 | 该层可选，基于 TLS 1.2 加密通道和双向证书认证 |
| HTTP/2 层 | HTTP/2 协议承载 gRPC，利用双向流、流量控制、头部压缩和单连接多路复用请求等 HTTP/2 特性 |
| gRPC 层 | 该层定义了远程过程调用的协议交互格式 |
| 数据模型层 | 通信双方需要了解彼此的数据模型才能正确交互 |

3. IPv6 VXLAN

3.1 背景

IPv4 推动了互联网的快速发展，连接了全球数千万企业和数十亿人。然而，由于其地址空间有限，IPv4 地址已耗尽。IPv6 作为 IPv4 的继任者，因其巨大的地址空间、高安全性和灵活的使用方式而受到关注。运营商和企业正逐步大规模采用 IPv6。从 IPv4 向 IPv6 演进的一个关键要求是实现平滑过渡。

3.2 实现方式

VXLAN 用于基于物理 IP 网络（称为底层网络）构建虚拟网络（称为覆盖网络）。可以部署 IPv4 和 IPv6 底层和覆盖网络，以实现从 IPv4 到 IPv6 的平滑过渡，具体方式如下：
1. 将 IPv4 服务过渡到 IPv6 服务
使用 IPv6 over IPv4 VXLAN 模型将现有的 IPv4 服务过渡到 IPv6 服务，即 IPv6 数据包通过 IPv4 网络传输。在 IPv4 网络上承载 IPv6 服务的理想方式是在边缘节点部署 IPv4/IPv6 双栈和 IPv6 over IPv4 隧道。边缘节点将 IPv6 数据包封装在 IPv4 报头中作为有效负载，并在现有的 IPv4 网络上转发该 IPv4 数据包。远程边缘节点收到 IPv4 数据包后，去除 IPv4 报头，并将原始 IPv6 数据包转发到目标地址。
2. 使新的 IPv6 网络能够传输 IPv4 服务
使用 IPv4 over IPv6 VXLAN 模型在 IPv6 网络上传输 IPv4 服务。在从 IPv4 向 IPv6 过渡的过程中，首先创建 IPv6 网络，然后将服务从原始 IPv4 网络迁移到新的 IPv6 网络。为确保 IPv4 服务能够顺利迁移到 IPv6 网络并进行传输，可以在 IPv6 网络上部署 IPv4 over IPv6 隧道。边缘节点将 IPv4 数据包封装在 IPv6 报头中作为有效负载，并在 IPv6 网络上转发该 IPv6 数据包。远程边缘节点收到 IPv6 数据包后，去除 IPv6 报头，并将原始 IPv4 数据包转发到目标地址。
3. 确保 IPv4 孤岛和 IPv6 孤岛之间的通信
当 IPv4 或 IPv6 网络通过运行不同协议的中间网络连接时，可以在中间网络上使用 VXLAN 隧道来连接其他网络。具体来说，中间网络上的入口节点封装 IPv4 或 IPv6 数据包，并将封装后的数据包跨中间网络转发到出口节点。出口节点然后解封装数据包，并将原始数据包转发到目标地址。

4. CloudEngine 虚拟交换机

4.1 概述

华为 CloudEngine 1800V（简称 CE1800V）是一款为企业和行业数据中心虚拟化环境设计的智能虚拟交换机。在数据中心和云计算场景中，传统虚拟网络由虚拟网络接口卡（vNIC）和虚拟网桥（由 Linux Bridge 模块提供）组成，用于实现虚拟机（VM）与物理网络之间的通信。但这些虚拟网桥无法满足客户对更高交换性能和更高级功能（如 VXLAN 访问）的需求。为满足这些需求，华为开发了 CE1800V。

CE1800V 基于开源 Open vSwitch（OVS）项目开发，采用用户模式转发框架。该虚拟交换机运行在服务器上，在 VXLAN 网络中充当网络虚拟边缘（NVE）节点，提供更高的转发性能。它将 VM 生成的数据包封装成 VXLAN 数据包，使 VM 能够访问 VXLAN 网络。

4.2 架构

CE1800V 作为虚拟交换机，运行在虚拟机管理程序（hypervisor）上。它连接到物理网络接口卡（pNIC）和多个虚拟网络接口卡（vNIC），为 VM 提供虚拟访问接口，并连接到服务器的 pNIC，为 VM 提供基本的二层和三层网络转发功能。该交换机可用于 VM 之间以及 VM 与外部网络之间的通信。

在开源 OVS 中，转发平面和控制平面是结合在一起的。而在 CE1800V 中，虚拟转发平面被开发并与 OVS 分离，这有助于提高 CE1800V 的灵活性和转发能力。此外，还开发了虚拟控制平面，用于获取设备警报和下发服务配置。

CE1800V 可分为以下三个模块：
1. OVS ：基于 OVS 提供标准的 OpenFlow 接口，与软件定义网络（SDN）控制器进行交互，管理和搜索控制器下发的流表，并实现分布式虚拟路由（DVR）三层转发和 VXLAN 转发。
2. 虚拟控制平面 ：为 CE1800V 开发的控制/管理平面。它为 SDN 控制器提供 OVS 数据库（OVSDB）接口，用于为 CE1800V 配置服务。它还提供远程过程调用（RPC）接口，作为 iMaster NCE - Fabric 的私有扩展，用于 CE1800V 与 SDN 控制器建立连接。
3. 虚拟转发平面 ：为 CE1800V 开发的转发平面。它基于 OpenFlow 流表确保高性能的流量转发，并通过数据平面开发套件（DPDK）进行优化。

4.3 功能

4.3.1 高性能转发

开源 OVS 有两种转发架构：内核模式和用户模式。内核模式架构的转发性能较低，而 CE1800V 采用用户模式转发架构以实现更高的转发性能。
- 内核模式转发 ：内核运行虚拟交换机（vSwitch）转发组件、VM 后端网卡驱动 vhost - net 和 pNIC 驱动。内核还负责发送和接收数据包，一些转发服务需要通过内核 TCP/IP 协议栈的交互来完成。由于 CPU 和内存资源有限，且数据包处理任务复杂，转发性能较低。
- 用户模式转发 ：CE1800V 的转发平面组件在用户空间运行。CE1800V 直接在用户空间与 VM 后端网卡驱动 vhost - user 交互，无需使用内核空间的网卡驱动和协议栈。数据包的发送和接收也在用户空间进行。基于 DPDK 运行的用户模式 CE1800V 使用大页内存、轮询、CPU 核心绑定、避免系统调用和零数据包复制等技术，大大提高了网卡的数据包传输效率，提供更高的转发性能。

4.3.2 安全组

为提高 VM 和网络的安全性，CE1800V 支持安全组功能。安全组是一种虚拟防火墙（vFW），用于限制 VM 接口发送和接收的网络数据包。

可以在云平台上创建安全组，配置安全组规则后，SDN 控制器从云平台获取安全组信息并将其下发给 CE1800V。CE1800V 将此信息转换为访问控制列表（ACL）策略，并将其应用于特定接口，只允许符合安全组规则的数据包通过。

4.3.3 与多个云和虚拟化平台兼容

CE1800V 与多个云和虚拟化平台兼容，包括：
- 云平台 ：开源 OpenStack、红帽 OpenStack 和华为 FusionSphere
- 虚拟化平台 ：开源 CentOS KVM、红帽 RHEL KVM 和华为 FusionSphere（NFVI KVM）

4.3.4 自动部署

CE1800V 可以通过以下方法进行部署：
- 云供应服务（CPS）系统 ：在 FusionSphere 平台上部署和管理 CE1800V。
- iDeploy ：华为的部署工具，支持对 CE1800V 进行统一部署和管理。
- Puppet 或 Ansible ：自动化的主流运维工具，支持对 CE1800V 进行统一部署和管理。

4.3.5 共享网卡

服务器中安装的网卡数量通常较少。如果对管理、存储和数据服务的要求较低，但成本控制很重要，可以将 CE1800V 配置为使用共享网卡。共享网卡可以通过以下模式实现：
- vSwitch 虚拟子接口 ：vSwitch 将网络接口虚拟化为多个接口，作为 CE1800V 的管理、存储和数据接口。此模式确保高性能但可靠性较低，适用于网卡支持 DPDK 的情况。
- Linux VLAN 子接口 ：这是 Linux 操作系统的一项功能，将网络接口虚拟化为多个接口，作为 CE1800V 的管理、存储和数据接口。此模式确保高可靠性但性能较低，适用于网卡不支持 DPDK 的情况。

4.3.6 分布式 DHCP

随着网络的扩展和复杂化，网络配置也变得更加复杂。由于移动设备的普及和无线网络的广泛使用，分配给这些设备的 IP 地址会随着用户在不同网络之间移动而频繁变化，导致 IP 地址不足。为解决这个问题并动态分配 IP 地址给主机，使用动态主机配置协议（DHCP）。

综上所述，云数据中心网络解决方案包含了物理层技术、遥测技术、IPv6 VXLAN 以及虚拟交换机等多个关键组件，每个组件都在实现高效、安全和灵活的网络环境中发挥着重要作用。通过合理应用这些技术和组件，可以满足不断增长的网络需求，推动数据中心和云计算的发展。

4.3.7 功能总结

CE1800V 凭借其多样化的功能，在企业和行业数据中心的虚拟化环境中展现出强大的优势。以下通过 mermaid 流程图展示其主要功能的协同工作流程：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    A(VM):::process -->|数据包| B(CE1800V):::process
    B -->|高性能转发| C(网络):::process
    B -->|安全组过滤| D{是否允许通过}:::process
    D -->|是| C
    D -->|否| E(丢弃):::process
    B -->|多平台兼容| F(云/虚拟化平台):::process
    B -->|自动部署| G(部署工具):::process
    B -->|共享网卡| H(网卡模式):::process
    B -->|分布式 DHCP| I(DHCP 服务):::process

此流程图清晰地展示了 CE1800V 从接收 VM 数据包开始，经过高性能转发、安全组过滤等一系列处理，最终实现与网络、云/虚拟化平台等的交互过程。

5. 云数据中心网络解决方案的综合优势

5.1 技术协同优势

云数据中心网络解决方案的各个组件之间相互协作，形成了一个有机的整体。例如，遥测技术为网络监控提供了高精度的数据，这些数据可以用于优化 IPv6 VXLAN 的部署和运行，确保从 IPv4 到 IPv6 的平滑过渡。同时，CE1800V 作为虚拟交换机，为 VXLAN 网络提供了高效的转发和安全保障，进一步提升了整个网络的性能和可靠性。

5.2 性能提升优势

通过采用先进的物理层技术、高效的转发架构和智能的监控技术，云数据中心网络解决方案能够显著提升网络的性能。例如，在数据传输方面，用户模式转发架构的 CE1800V 结合 DPDK 技术，大大提高了数据包的传输效率；在网络监控方面，遥测技术的高频率、高精度数据采集，能够及时发现并解决网络中的潜在问题，保障网络的稳定运行。

5.3 安全保障优势

安全是云数据中心网络的重要考量因素。IPv6 VXLAN 的安全机制以及 CE1800V 的安全组功能，为网络提供了多层次的安全防护。安全组可以根据规则限制网络数据包的进出，有效防止网络攻击；而 IPv6 的高安全性和灵活的使用方式，进一步增强了网络的整体安全性。

6. 云数据中心网络解决方案的应用场景

6.1 企业数据中心

在企业数据中心中，随着业务的不断发展和数字化转型的推进，对网络的性能、安全和灵活性提出了更高的要求。云数据中心网络解决方案可以为企业提供高效的网络架构，支持多业务的并行运行。例如，通过部署 CE1800V 虚拟交换机，可以实现虚拟机之间的高速通信和安全隔离；利用 IPv6 VXLAN 技术，可以实现从 IPv4 到 IPv6 的平滑过渡，满足企业未来网络发展的需求。

6.2 云计算服务提供商

对于云计算服务提供商来说，需要为大量的用户提供稳定、高效的云计算服务。云数据中心网络解决方案的高性能和可扩展性，能够满足云计算服务提供商对大规模数据处理和网络资源管理的需求。遥测技术可以实时监控网络的运行状态，及时发现并解决潜在的问题，保障服务的连续性；而 CE1800V 的分布式 DHCP 功能，可以动态分配 IP 地址，提高网络资源的利用率。

6.3 行业应用

在一些特定的行业，如金融、医疗等，对网络的安全性和可靠性要求极高。云数据中心网络解决方案的多层次安全防护机制和高可靠性设计，能够满足这些行业的特殊需求。例如，在金融行业，CE1800V 的安全组功能可以对交易数据进行严格的访问控制，防止数据泄露和网络攻击；在医疗行业，IPv6 VXLAN 技术可以确保医疗设备之间的安全通信，保障患者的信息安全。

7. 未来发展趋势

7.1 技术创新

随着科技的不断进步，云数据中心网络解决方案将不断引入新的技术。例如，随着 5G 技术的普及，网络的传输速度和带宽将得到进一步提升，这将促使云数据中心网络解决方案向更高性能、更低延迟的方向发展。同时，人工智能和机器学习技术也可能被应用于网络管理和优化，实现更加智能的网络运维。

7.2 标准统一

目前，不同供应商和标准组织定义了多种 YANG 模型和编码格式，这在一定程度上增加了网络管理的复杂性。未来，随着行业的发展，有望实现标准的统一，降低网络部署和管理的成本。例如，统一的 YANG 模型可以使不同厂商的设备之间更好地进行互操作，提高网络的兼容性和可扩展性。

7.3 绿色节能

在全球倡导绿色环保的大背景下，云数据中心网络解决方案也将朝着绿色节能的方向发展。例如，优化物理层技术，降低设备的能耗；采用智能的网络管理策略，根据实际业务需求动态调整网络资源的分配，减少能源浪费。

8. 总结

云数据中心网络解决方案涵盖了物理层技术、遥测技术、IPv6 VXLAN 和虚拟交换机等多个关键组件，每个组件都有其独特的功能和优势。这些组件相互协作，为企业和行业的数据中心提供了高效、安全、灵活的网络环境。通过合理应用这些技术和组件，可以满足不断增长的网络需求，推动数据中心和云计算的发展。同时，随着技术的不断创新和行业的发展，云数据中心网络解决方案也将不断演进，为未来的网络世界带来更多的可能性。

在实际应用中，企业和组织应根据自身的需求和实际情况，选择合适的技术和组件，构建适合自己的云数据中心网络解决方案。同时，要关注行业的发展趋势，及时引入新的技术和理念，不断优化和完善网络架构，以适应不断变化的市场环境。