- 博客(3)
- 收藏
- 关注
RSS订阅原创 ollama本地部署硬件注意事项
2.硬盘要快，至少上固态的，因为如果用到知识库，有时候会重新加载模型，你也不想模型导入到内存就花了半天吧。3.如果不调节模型的话，其实对硬件速度要求不太高，不必要硬件焦虑。私人用1-2token也不是不行。4.及时更新模型库，新模型总比旧模型好，今天阿里就开源了一个32B的模型。1.内存+显存要足，必须大于模型+系统（win11一般11G）。
2025-03-06 16:25:29
142
原创 本地部署堪比满血deepseek-r1的qwq-32b
3月6日，阿里巴巴推出并开放源代码的全新推理模型通义千问QwQ-32B，据阿里官方发布信息显示，其在数学运算、编程开发与多领域应用的综合表现接近DeepSeek-R1水平，同时通过技术优化显著降低运行门槛，可实现普通显卡设备的本地化运行。32B的模型RAM至少要32G，可以配置虚拟内存。搜索qwq-32b-gguf，或者访问（可能要开机场），下载gguf模型。打开官网查看显卡显卡计算力及是否支持FP16和INT8。或者参考博文。
2025-03-06 10:31:48
7709
5
原创 DeepSeek在4060笔记本上的部署与极限性能压榨与散热改造
散热优化：注意散热优化，建议上相变片，导热胶加铜管加mini铝制散热片加识破导热片（不会破坏保修和外壳）。可以买一套强力的风扇（转速3600不宜太高，太高有电流反冲风险）粘在笔记本支架下，大约50元，比压风式散热便宜一些。不怕破坏外壳和保修的可以上水冷（破坏了外壳容易卖不出价），拼多多买一套水泵加硅胶管加水冷铜管套餐（大约100元），建议用纯净水。利用32GB内存的优势，同时运行多个任务（如文档分析、代码生成），提升工作效率。：优先选择蒸馏版模型，完整版（如671B）对硬件要求极高，不适合普通用户。
2025-02-26 14:36:04
1604
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人