硬件要求

硬件要求

  •  GPU显存:单卡至少24GB(INT8量化)
  •  CPU内存:至少64GB(用于加载模型权重)
  •  磁盘空间:>400GB(模型文件+缓存)
  •  网络:多卡间NVLink带宽≥200GB/s

软件环境

  •  CUDA版本:11.7+
  •  PyTorch版本:2.1.0+
  •  vLLM版本:0.4.0+(需包含DeepSeek-V2支持补丁)
  •  驱动版本:535.104.05+

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值