- 博客(7)
- 收藏
- 关注
原创 【转载+修改】 ollama多显卡都用上,实现负载均衡
添加这两行:Environment="CUDA_VISIBLE_DEVICES=0,1" Environment="OLLAMA_SCHED_SPREAD=1"Environment="CUDA_VISIBLE_DEVICES=0,1" 代表让ollama能识别到第几张显卡。Environment="OLLAMA_KEEP_ALIVE=-1" 模型一直加载, 不自动卸载。Environment="OLLAMA_SCHED_SPREAD=1" 这几张卡均衡使用。ctrl+o确认保存 ctrl+x退出。
2025-09-11 16:24:36
526
原创 hugging face model部署至ollama平台
如果报错,可更改config.json中的"vocab_size": 262144 到提示的大小。
2025-04-15 11:12:22
310
原创 wsl ubuntu下配置latex并汉语支持
宏包(在 texlive-full 中已经包含)。1、安装latex工具套件。3、在扩展商店中搜索。
2024-12-13 16:50:23
444
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅