如何解决 DeepSeek 大模型训练和推理带来的挑战？

解决方案：

绿算技术微算中心融合算力服务器、通用服务器与 RoCE 技术，搭载自研的超高性能全闪闪存阵列和轻舟系列加速卡，有效解决 DeepSeek 大模型训练和推理带来的挑战。

• 突破本地存储限制：
  • 海量缓存空间：微算中心搭载自研极速闪存阵列，提供高达 3PB 的数据容量，可存储大量缓存数据，满足DeepSeek大模型训推过程中的空间需求。
  • 高速读写：极速闪存阵列采用存算分离架构，支持 RDMA 和NVMe-oF 协议卸载，实现高达 3200 万 IOPS 的处理能力和 140GB 的数据聚合带宽，较传统方案提升数十倍读写效率，确保缓存数据读写速度，提升模型训推效率。
  • 打破文件系统瓶颈：
    • 全闪存架构：微算中心采用全闪存架构，通过NVMe硬盘的缓存技术，避免了传统存储设备的延迟和效率地下，显著提升了数据访问效率。
    • 高性能文件系统：微算中心搭载自研文件系统，支持对象存储、块存储和文件存储，并支持副本或 EC，满足数据冗余需求，同时提供高效的元数据管理和数据一致性维护，消除文件系统性能瓶颈。
  • 降低推理延迟：
    • 轻舟系列加速卡：微算中心搭载轻舟系列加速卡，提供高性能数据处理能力，可加速数据筛选、排序、聚合等操作，显著降低数据处理时间，进而降低模型推理延迟。
    • RoCE 技术：微算中心采用 RoCE 技术，实现数据高速、低延迟传输，构建高效的数据流通管道，进一步降低推理延迟。