yusur的博客

为了解决上文提到的问题与挑战，本方案创新性的引入了DPU组件，并仍然使用Openstack Ironic node资源来管理裸金属实例。在开源Ironic组件（ironic-api、ironic-conductor）之外，我们自研了Ironic-dpu-agent组件，运行在每个裸金属节点的DPU Soc中，用于管理裸金属实例的存储、网络资源。整体方案架构如下图：Ironic-api：裸金属rest api服务。

为了应对虚拟化技术面临的问题和挑战，中科驭数在多年的技术积累和丰富的行业经验基础上，面向公开市场，推出了基于自研DPU的轻量虚拟化解决方案。

为了解决OpenStack Ironic裸金属服务方案的问题，中科驭数基于DPU开发了ironic裸金属服务解决方案，整体架构图如下：在本方案中，DPU支持裸金属服务器的网络和存储资源虚拟化，使得物理服务器能够像虚拟机一样灵活配置，动态添加或删除网卡、硬盘等资源。这为裸金属服务器提供了类似云服务的弹性，同时保持了物理机级别的性能。另外，DPU能够管理远程存储资源，如云盘，使得裸金属服务器可以使用云存储服务，同时通过DPU加速存储I/O，提高读写性能，使得云盘接近本地存储的体验。

服务网格（Service Mesh）是微服务架构中的一种重要技术，它主要处理服务之间的通信，为服务间的信息交换提供更安全、更快速且更可靠的基础设施层。服务网格将服务治理从业务逻辑中剥离出来，拆解为独立的进程，实现异构系统的统一治理和增强网络安全。一个典型的服务网格部署示意图如下：其中绿色方块为应用服务，蓝色方块为代理。应用服务之间通过代理进行通信，整个服务通信形成图中的蓝色网络连线，图中所有蓝色部分就形成了服务网格。

传统OverlayFS容器的冷启动时间较长，这可能会对性能敏感的应用造成影响，导致较差的用户体验。改进方案中的用户态文件系统需要占用一定的主机资源，这可能会对系统的整体性能产生影响。为了解决上述问题，我们构建了基于DPU的容器冷启动解决方案，以k8s为底座，以存储为核心，利用DPU的卸载和加速能力，使容器的冷启动更快，占用更少的host资源。

Kubernetes Service是Kubernetes中的一个核心概念，它定义了一种抽象，用于表示一组提供相同功能的Pods（容器组）的逻辑集合，并提供了一种方式让这些Pods能够被系统内的其他组件发现并访问。简单来说，Service提供了一种让客户端能够稳定地连接到后端Pods的机制，即使这些Pods会动态地创建、销毁或迁移。Kubernetes Service主要特性和用途。

OpenEBS是一个广受欢迎的开源云原生存储解决方案，托管于CNCF（云原生计算基金会）之下，旨在通过扩展Kubernetes的能力，为有状态应用提供灵活的持久性存储。Mayastor是OpenEBS项目中的关键存储引擎，它以其高性能、耐久性和易于管理的特点，为云原生应用提供了理想的存储解决方案。Mayastor利用NVMe-oF协议，这是一种基于网络的NVMe访问方法，允许NVMe设备通过以太网或其他网络结构进行远程访问，这有助于提高存储系统的性能和可扩展性。

本方案采用云原生架构，Spark采用Spark on Kubernetes部署模式，并且引入DPU为集群之上的容器提供存储服务的卸载和加速，融合了云原生架构与高性能存储的优势。方案整体架构如下图所示：l 存储集群把NVMe存储设备以裸盘方式部署，计算节点通过硬件模拟向宿主机提供标准的nvme/virtio块设备，对存储协议的处理都卸载到DPU，提供硬件加速的NVMe over RDMA能力。l K8S平台通过yusur-csi存储插件提供基于DPU的云盘挂载能力。

随着云计算和容器技术的飞速发展，Kubernetes已成为业界公认的容器编排标准，为用户提供了强大、灵活且可扩展的平台来部署和管理各类应用。然而，在企业的实际应用中，仍有许多传统应用或遗留系统难以直接容器化，通常采用传统的虚拟化技术来支撑。因此，企业需要同时运行容器和虚拟机的混合云或私有云环境，以便开发者和运维人员方便地管理和维护这两种类型的工作负载，这促使了KubeVirt项目的诞生。KubeVirt是一个开源项目，由Red Hat、IBM、Google、Intel和SUSE等多家公司共同推动和贡献。

为了解决传统SDN方案的问题，中科驭数提出了基于DPU/SmartNic的云原生SDN解决方案，驭云SDN将DPU/SmartNic卡进行统一管理将其，支持的网卡如PF/VF/SF/VFIO/VDPA等通过device-plugin发布给Kubernetes进行统一的管理和调度。

为了解决上述问题，我们提出了基于DPU的云原生计算资源共池管理解决方案，结合了DPU的硬件优势与Kubernetes的能力和插件生态，在Kubernetes架构下实现了虚拟机、裸金属和容器资源的无缝整合与统一管理，可以实现当某一类资源池（如虚拟机资源池）面临资源紧张时，系统能够自动从共享资源池中调用资源，实现Worker节点的快速扩容，而当资源需求下降时，又能够智能缩容，将多余Worker节点回收至共享池中，确保资源的按需分配与适时释放。资源池的独立管理导致了资源利用率的显著下降。

本方案采用云原生架构，引入DPU作为Kubernetes集群的Node，为集群之上的容器、虚机和裸金属实例提供存储服务的卸载和加速。整体架构如下所示：Master Node上，部署csi的控制器csi-controller，用于创建volume和NVMe-oF target；Host Node上，部署csi-node-host，配合csi-node-dpu，通过volumeattachment发现DPU挂载的NVMe盘，然后执行绑定或者格式化；裸机场景没有这个组件；

本方案基于DPU的网络能力，采用开源 Kubernetes 底座架构，以OVN/OVS做为网络转发面，整体架构如下图所示：在集群架构中，裸金属服务器既可以单独使用，也可以作为Worker节点加入Kubernetes集群，部署Pod或虚拟机（VM）。无论是作为裸金属服务器，还是作为Worker节点，网络I/O均由DPU卸载，并通过OVN进行统一管理。在使用SmartNIC或普通网卡的Worker节点中，OVN的流表管理和下发逻辑保持不变，仅将网络I/O交由主机侧处理。

为了解决传统裸金属服务方案的问题，中科驭数基于DPU开发了全新的云原生裸金属服务解决方案，整体架构图如下：在本方案中，DPU支持裸金属服务器的网络和存储资源虚拟化，使得物理服务器能够像虚拟机一样灵活配置，动态添加或删除网卡、硬盘等资源。这为裸金属服务器提供了类似云服务的弹性，同时保持了物理机级别的性能。另外，DPU能够管理远程存储资源，如云盘，使得裸金属服务器可以使用云存储服务，同时通过DPU加速存储I/O，提高读写性能，使得云盘接近本地存储的体验。