- 博客(1)
- 收藏
- 关注
RSS订阅原创 5090D本地部署基于Ktransformer框架的DeepSeek
我是看九天老师的公开课，尝试使用单卡5090D+512G运行内存去跑一遍DeepSeek。以下是我使用最新显卡部署时踩得坑。模型为：R1 Q4_K_M1.Ktransformer全称（Quick Transformers）可以在模型运行过程中灵活的将专家模型加载到CPU上，同时将MLA/KVCache卸载到GPU上。2.Unsloth动态量化，通过内存分担显存的方法保证R1 Q4_K_M的运行，并且执行不同任务时将激活的专家加载到GPU上，从而压缩模型运行所需硬件条件。服务器配置：GPU：单卡RTX 509
2025-03-13 14:46:57
984
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人