
朋友不会让朋友用Ollama
Ollama最初凭借成为首个便捷的llama.cpp包装器而受到关注,多年来却一直回避对原技术的归属说明,误导用户,还转向云服务,依靠别人引擎赚的风投资金维持运营。下面讲述其完整历史,以及为何其他替代方案更胜一筹。
失忆的llama.cpp包装器
Ollama的推理能力来自llama.cpp,这是Georgi Gerganov在2023年3月创建的C++推理引擎。Gerganov的项目让在消费级笔记本电脑上运行LLaMA模型成为可能,开启了本地LLM运动。如今,llama.cpp在GitHub上获超10万个星标,有450多名贡献者,几乎所有基于GGUF的工具都依赖它。
Ollama由Jeffrey Morgan和Michael Chiang于2021年创立,他们此前参与开发Kitematic,这是一款被Docker Inc.收购的Docker图形用户界面工具。他们参加Y Combinator 2021年冬季批次项目,获种子前融资,并于2023年公开推出。其宣传口号是“大语言模型的Docker”,但底层工作由llama.cpp完成。
在一年多时间里,Ollama的README文件从未提及llama.cpp,其二进制发行版也未包含llama.cpp代码所需的MIT许可声明。2024年初,社区提出要求遵守许可证规定,但维护者超400天未回应。2024年4月,有人明确要求承认llama.cpp的贡献,社区提交拉取请求,Ollama联合创始人最终在README底部添加一行内容。Ollama团队表示不会突出强调llama.cpp的贡献,还打算与它保持距离。
有评论者指出,基于llama开发合理,Ollama在易用性方面也增加了价值,但应给llama团队应有的赞誉;Ollama淡化对llama.cpp的依赖,在本地LLM社区早已不是秘密。
弄巧成拙的分叉
2025年年中,Ollama不再使用llama.cpp作为推理后端,而是基于ggml构建自定义实现,理由是稳定性,称llama.cpp更新快易出问题,企业合作伙伴需要可靠性。
但结果适得其反,Ollama的自定义后端重新引入了llama.cpp多年前就已解决的问题,社区成员指出多个版本存在结构化输出支持故障、视觉模型失败以及GGML断言崩溃等问题。在llama.cpp上游版本中运行正常的模型,在Ollama中却无法运行,Georgi Gerganov也指出Ollama分叉并对GGML做了错误修改。
基准测试显示,在相同硬件和模型情况下,llama.cpp的运行速度比Ollama快1.8倍,每秒161个词元,Ollama为89个;在CPU上,差距为30 - 50%;最近对Qwen - 3 Coder 32B的比较显示,llama.cpp的吞吐量高出约70%。性能开销源于Ollama的守护进程层、糟糕的GPU卸载策略以及落后于上游的私有后端。
误导性的模型命名
2025年1月,DeepSeek发布其R1模型系列时,Ollama将较小的蒸馏版本简称为“DeepSeek - R1”。运行`ollama run deepseek - r1`会下载一个基于Qwen的80亿参数蒸馏模型,其表现与真正的模型完全不同。
这并非疏忽,DeepSeek和Hugging Face都正确命名模型,但Ollama去掉了区分标识,导致社交媒体上大量用户对模型性能不佳感到困惑,对DeepSeek的声誉造成损害。GitHub问题要求对这些模型进行区分,但都被标记为重复问题而关闭,未得到修复。直到今天,`ollama run deepseek - r1`仍会启动小型蒸馏模型,Ollama可能是为了获取更多下载量而故意模糊处理。
闭源应用程序
2025年7月,Ollama发布适用于macOS和Windows的GUI桌面应用程序,该应用程序在私有仓库中开发,发布时无许可证,源代码未公开。
社区成员立即提出担忧,许可证问题获40个赞,开发者在二进制文件中发现潜在的AGPL - 3.0依赖项。网站给用户一种下载MIT许可的开源工具的错觉,而实际得到的是无许可证的闭源应用程序。维护者数月沉默,直到2025年11月,代码才合并到主仓库,但最初的推出暴露出该项目的倾向。有评论指出,如果项目以开源为卖点,发布时就不能对开源与否含糊其辞。
Modelfile:重新发明已解决的问题
Georgi Gerganov创建的GGUF模型格式遵循单文件部署原则,加载模型所需的所有信息都包含在模型文件中。Ollama在此基础上添加了Modelfile,用于指定基础模型、聊天模板、系统提示、采样参数和停止词元,但这些信息大多已存在于GGUF文件中。
Ollama只能自动检测其硬编码列表中已知的聊天模板,若GGUF文件的元数据中嵌入的有效Jinja聊天模板与Ollama已知模板不匹配,Ollama会退回到简单模板,破坏模型的指令格式。用户需手动从GGUF中提取聊天模板,转换为Go模板语法并写入Modelfile,而llama.cpp可直接读取嵌入的模板并使用。
修改参数时,使用Ollama更改从注册表中下载的模型的温度或系统提示,工作流程繁琐,会复制整个模型,有用户认为这很蠢。相比之下,llama.cpp中参数是命令行标志,操作更简便。
Modelfile还让用户局限于Ollama的Go模板语法,与模型创建者实际发布的Jinja模板不同。LM Studio和llama.cpp可直接处理Jinja模板,只有Ollama要求转换模板语言,且常转换错误,GitHub上有相关问题讨论。
注册表瓶颈
新模型发布时,社区成员会很快将GGUF文件发布到Hugging Face上,使用llama.cpp可立即运行这些模型。而使用Ollama,需等待工作人员为注册表打包模型、选择量化版本、转换聊天模板并推送,在此之前,模型在Ollama中不存在。
这导致新模型发布后,人们用Ollama使用时出现问题,却归咎于模型本身。Ollama只支持创建部分量化版本,若需要其他量化版本,用户只能去其他地方获取。Ollama虽添加了直接从Hugging Face拉取模型的功能,但仍存在文件复制、无法与其他工具共享GGUF文件、模板检测问题,其基本架构使Ollama在用户和模型之间充当中间人,且比依赖的工具更慢、功能更弱、兼容性更差。
向云服务转型
2025年末,Ollama在本地库基础上推出云托管模型,开始将提示路由到第三方云服务提供商,专有模型出现在列表中,却未明确告知用户选择它们会将数据发送到设备之外,用户对数据路由提出了担忧。
大家应警惕Ollama存在的诸多问题,考虑选择其他替代方案。
2076



被折叠的 条评论
为什么被折叠?



