- 博客(2)
- 收藏
- 关注
原创 国产昆仑芯XPU实战:vLLM-Kunlun插件部署Qwen3.6大模型全流程
本文详细记录了在昆仑芯P800加速卡上部署Qwen3.6-35B-A3B大语言模型的全过程。通过Docker容器配置、vLLM-Kunlun插件编译安装、定制版XPU-PyTorch部署及关键补丁应用等步骤,最终实现模型推理服务的成功启动。实测表明,单张96GB显存的P800可流畅运行MoE架构的35B参数模型,验证了国产AI加速卡在大模型推理场景下的可行性。文章提供了完整的操作流程和避坑指南,包括环境变量配置、容器参数优化等关键细节,为国产硬件的大模型部署提供了实用参考。
2026-06-04 14:17:22
2129
原创 从0到1:打造99.99%高可用在线CRM系统的技术架构与实践
## 2.3 数据层设计 - **主数据库**:采用分布式SQL(如TiDB, CockroachDB)或云托管服务(Aurora)保证强一致性与高可用。### 3.2 数据高可用与一致性 - **多活/主从复制**:跨可用区(AZ)甚至跨地域(Region)部署。- **CDN加速**:静态资源分发。## 第四部分:监控、告警与自愈(SRE实践) ### 4.1 可观测性体系建设 - **指标(Metrics)**:Prometheus + Grafana监控黄金指标(延迟、流量、错误、饱和度)。
2026-06-04 13:58:44
466
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅