花菜回锅肉的博客

最近在学习大模型部署，需要安装flash-attn，在编译时报错centos7.9默认gcc最高版本为4.8.5以上报错需要高版本的gcc支持，所以需要升级GCC的版本，对应关系参考这里选择9.0版本进行升级。网上搜索教程，多是 基于centos yun 安装替换方式，比较复杂，该文章基于conda虚拟环境来进行升级，操作简单，对原系统侵入少。

deepseek 目前有DeepSeek-V3和DeepSeek-R1两个系列，DeepSeek-V3是由DeepSeek推出的一款拥有6710亿参数的专家混合（MoE）大语言模型，DeepSeek-R1是基于DeepSeek-V3-Base训练的高性能推理模型。这两个模型参数都非常大，性能也非常高，但部署成本非常高，对于小企业和个人不是很现实，但deepseek提供了蒸馏版本的小模型，但可以使用大模型的知识能力，对硬件配置要求较低。让用户以很低的成本，私有化部署大模型。