- 博客(3)
- 收藏
- 关注
RSS订阅原创 vllm私有化部署
要速度、要并发、要集群→vLLM30 min 部署，千级 QPS要简单、要快速验证、要单机→Ollama5 min 部署，单卡即跑你的 8×5090 32G→两套都能跑先 Ollama 出原型，再 vLLM 上生产无缝切换。vLLM 技术原。
2025-09-29 19:40:07
1027
原创 ollama本地部署AI大模型
总之，本地部署大模型，让 AI 真正变成你的“私有大脑”，安全、省钱、可控、快响，政企上云新趋势，数据主权握在手，未来扩展不用愁。它把 Llama、Qwen、DeepSeek 等主流模型预先量化成 GGUF，封装成 Docker 般的“模型容器”，一条命令即可下载、启动、对话；无需联网、数据不出电脑，兼顾安全与低成本，是快速体验、调试和私有化部署大模型的首选“瑞士军刀”。下载完ollama之后，进入ollama选择下载的模型，本次我选择通过ollama部署deepseek7b大模型。
2025-09-17 09:05:23
1745
原创 Ubuntu系统进行大模型微调训练部署
Meta Llama-3-70B、Mistral-Large、阿里通义千问72B、百度文心4.0、智谱GLM-4以千亿级参数开源或半开源，支持商用，中文表现与GPT-4差距缩小，Llama-3采用分组查询注意力+SwiGLU，千问2.5引入RoPE+FlashAttention-2，推理速度提升30%。综上，Ubuntu 在“驱动新、框架全、镜像多、更新快、文档足”五维度形成正循环，使大模型团队能把有限时间花在调参与训练，而非浪费在编译兼容层，因此成为私有云与公有云部署的默认基线系统。
2025-09-15 16:23:00
1971
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人