Ollama问题频发:技术归属模糊、性能不佳、误导用户,替代方案更胜一筹!

深度分析和对比本地大语言模型Ollama和LocalAI 在充满活力的人工智能(AI)世界中,开源工具已成为开发人员和组织利用LLM(大型语言模型)力量的重要资源。 阅读详情

朋友不会让朋友用Ollama

Ollama最初凭借成为首个便捷的llama.cpp包装器而受到关注,多年来却一直回避对原技术的归属说明,误导用户,还转向云服务,依靠别人引擎赚的风投资金维持运营。下面讲述其完整历史,以及为何其他替代方案更胜一筹。

失忆的llama.cpp包装器

Ollama的推理能力来自llama.cpp,这是Georgi Gerganov在2023年3月创建的C++推理引擎。Gerganov的项目让在消费级笔记本电脑上运行LLaMA模型成为可能,开启了本地LLM运动。如今,llama.cpp在GitHub上获超10万个星标,有450多名贡献者,几乎所有基于GGUF的工具都依赖它。

Ollama由Jeffrey Morgan和Michael Chiang于2021年创立,他们此前参与开发Kitematic,这是一款被Docker Inc.收购的Docker图形用户界面工具。他们参加Y Combinator 2021年冬季批次项目,获种子前融资,并于2023年公开推出。其宣传口号是“大语言模型的Docker”,但底层工作由llama.cpp完成。

在一年多时间里,Ollama的README文件从未提及llama.cpp,其二进制发行版也未包含llama.cpp代码所需的MIT许可声明。2024年初,社区提出要求遵守许可证规定,但维护者超400天未回应。2024年4月,有人明确要求承认llama.cpp的贡献,社区提交拉取请求,Ollama联合创始人最终在README底部添加一行内容。Ollama团队表示不会突出强调llama.cpp的贡献,还打算与它保持距离。

有评论者指出,基于llama开发合理,Ollama在易用性方面也增加了价值,但应给llama团队应有的赞誉;Ollama淡化对llama.cpp的依赖,在本地LLM社区早已不是秘密。

弄巧成拙的分叉

2025年年中,Ollama不再使用llama.cpp作为推理后端,而是基于ggml构建自定义实现,理由是稳定性,称llama.cpp更新快易出问题,企业合作伙伴需要可靠性。

但结果适得其反,Ollama的自定义后端重新引入了llama.cpp多年前就已解决的问题,社区成员指出多个版本存在结构化输出支持故障、视觉模型失败以及GGML断言崩溃等问题。在llama.cpp上游版本中运行正常的模型,在Ollama中却无法运行,Georgi Gerganov也指出Ollama分叉并对GGML做了错误修改。

基准测试显示,在相同硬件和模型情况下,llama.cpp的运行速度比Ollama快1.8倍,每秒161个词元,Ollama为89个;在CPU上,差距为30 - 50%;最近对Qwen - 3 Coder 32B的比较显示,llama.cpp的吞吐量高出约70%。性能开销源于Ollama的守护进程层、糟糕的GPU卸载策略以及落后于上游的私有后端。

误导性的模型命名

2025年1月,DeepSeek发布其R1模型系列时,Ollama将较小的蒸馏版本简称为“DeepSeek - R1”。运行`ollama run deepseek - r1`会下载一个基于Qwen的80亿参数蒸馏模型,其表现与真正的模型完全不同。

这并非疏忽,DeepSeek和Hugging Face都正确命名模型,但Ollama去掉了区分标识,导致社交媒体上大量用户对模型性能不佳感到困惑,对DeepSeek的声誉造成损害。GitHub问题要求对这些模型进行区分,但都被标记为重复问题而关闭,未得到修复。直到今天,`ollama run deepseek - r1`仍会启动小型蒸馏模型,Ollama可能是为了获取更多下载量而故意模糊处理。

闭源应用程序

2025年7月,Ollama发布适用于macOS和Windows的GUI桌面应用程序,该应用程序在私有仓库中开发,发布时无许可证,源代码未公开。

社区成员立即提出担忧,许可证问题获40个赞,开发者在二进制文件中发现潜在的AGPL - 3.0依赖项。网站给用户一种下载MIT许可的开源工具的错觉,而实际得到的是无许可证的闭源应用程序。维护者数月沉默,直到2025年11月,代码才合并到主仓库,但最初的推出暴露出该项目的倾向。有评论指出,如果项目以开源为卖点,发布时就不能对开源与否含糊其辞。

Modelfile:重新发明已解决的问题

Georgi Gerganov创建的GGUF模型格式遵循单文件部署原则,加载模型所需的所有信息都包含在模型文件中。Ollama在此基础上添加了Modelfile,用于指定基础模型、聊天模板、系统提示、采样参数和停止词元,但这些信息大多已存在于GGUF文件中。

Ollama只能自动检测其硬编码列表中已知的聊天模板,若GGUF文件的元数据中嵌入的有效Jinja聊天模板与Ollama已知模板不匹配,Ollama会退回到简单模板,破坏模型的指令格式。用户需手动从GGUF中提取聊天模板,转换为Go模板语法并写入Modelfile,而llama.cpp可直接读取嵌入的模板并使用。

修改参数时,使用Ollama更改从注册表中下载的模型的温度或系统提示,工作流程繁琐,会复制整个模型,有用户认为这很蠢。相比之下,llama.cpp中参数是命令行标志,操作更简便。

Modelfile还让用户局限于Ollama的Go模板语法,与模型创建者实际发布的Jinja模板不同。LM Studio和llama.cpp可直接处理Jinja模板,只有Ollama要求转换模板语言,且常转换错误,GitHub上有相关问题讨论。

注册表瓶颈

新模型发布时,社区成员会很快将GGUF文件发布到Hugging Face上,使用llama.cpp可立即运行这些模型。而使用Ollama,需等待工作人员为注册表打包模型、选择量化版本、转换聊天模板并推送,在此之前,模型在Ollama中不存在。

这导致新模型发布后,人们用Ollama使用时出现问题,却归咎于模型本身。Ollama只支持创建部分量化版本,若需要其他量化版本,用户只能去其他地方获取。Ollama虽添加了直接从Hugging Face拉取模型的功能,但仍存在文件复制、无法与其他工具共享GGUF文件、模板检测问题,其基本架构使Ollama在用户和模型之间充当中间人,且比依赖的工具更慢、功能更弱、兼容性更差。

向云服务转型

2025年末,Ollama在本地库基础上推出云托管模型,开始将提示路由到第三方云服务提供商,专有模型出现在列表中,却未明确告知用户选择它们会将数据发送到设备之外,用户对数据路由提出了担忧。

大家应警惕Ollama存在的诸多问题,考虑选择其他替代方案。

Llamafile 和 Ollama 区别 & Ollama 和 llama 的关系 Llamafile 特别适合在资源有限的设备上运行离线的开源 LLM,方便开发者和用户在本地进行自然语言处理任务,如问答和内容生成。 阅读详情

相关推荐

探索强大的 AI 工具:OLLAMA 和 LM Studio 的替代品 虽然 OLLAMA 和 LM Studio 是流行的 AI 工具,但还有几种功能强大的替代方案,可为开发人员提供独特的功能

如果您正在寻找类似于Ollama和LM Studio 的工具来在本地运行大型语言模型 (LLM),那么有几种替代方案,它们的重点、界面和复杂性各不相同。下面,我列出了符合本地 LLM 执行、模型管理或开发人员友好集成目标的工具。每种工具都有自己的优势,具体取决于您优先考虑 GUI、CLI、API 支持还是自定义。

iCloudEnd的博客 2076

一款比 Ollama 更好用的本地大语言模型 (LLM) 应用平台

公众号关注「奇妙的 Linux 世界」设为「星标」,每天带你玩转 Linux !近年来,我们见证了大型语言模型(LLM)的飞速发展,它们不仅在自然语言处理(NLP)领域掀起了革命,更即将改变我们的生活方式。但如何在本地运行这些大型语言模型呢?别担心,LM Studio 来帮你!它让我们轻松驾驭这些复杂的模型。坐稳了,接下来我们一起探索 LM Studio 的神奇之处吧!???? 什么是 LM Stud...

easylife206的专栏 2万+

手把手教你用QEMU虚拟化华为路由器固件(附完整网络配置指南)

本文提供了一份详尽的QEMU虚拟化华为路由器固件的实战指南。从固件解包、网络桥接配置到QEMU虚拟机启动,手把手教你搭建完整的嵌入式设备沙箱环境,特别适合安全研究、逆向分析和学习嵌入式系统工作原理。

tgb3456789的博客 943

6个最受欢迎的大模型本地运行工具

运行大型语言模型 (LLM)(如 ChatGPT 和 Claude)通常涉及将数据发送到 OpenAI 和其他 AI 模型提供商管理的服务器。虽然这些服务是安全的,但一些企业更愿意将数据完全离线,以保护更大的隐私。本文介绍了开发人员可以用来在本地运行和测试 LLM 的六大工具,确保他们的数据永远不会离开他们的设备,类似于端到端加密保护隐私的方式。

新缸中之脑 7984

电商产品组合策略:引流品与利润品的实战方法论

在电商运营中,产品组合策略是提升流量转化与利润增长的核心技术。其基本原理是通过数据化选品构建产品矩阵,利用引流品吸引用户流量,再通过利润品实现商业变现。这种策略不仅能优化广告投放的ROAS(广告投入产出比),还能显著提升客单价。技术实现上需要结合Google Analytics等工具进行归因分析,并运用动态库存管理模型控制风险。该方案特别适用于Amazon、Shopify等电商平台,能有效解决跨境电商业内流量获取与利润创造的平衡难题。通过实战案例可见,合理的产品组合可使客单价提升30-50%,是电商运营必备

weixin_42522009的博客 357

【东华大学oj】找到最大数(一维数组->中等)

一天,老师布置了一个作业,要求对一串数字各不相同的数字串进行排序,大的在前,小的在后。接着,我从数字串中的第二个数字开始往后找,找到最大的一个,然后与第二个数字交换,这样的话我就能够确定排序后数字串中的第二个数字;明明研究发现,他的这个想法中最重要的一环就是在一串数字中找到最大的那个,然后与第一个数字交换,可是明明毕竟刚刚开始学习程序设计不久,无法写出较复杂的程序,所以明明想让你这位程序设计专家帮他的忙,帮助他把这段核心程序写出来,然后明明只需模仿着写就可以了。时间限制: 1S类别: 一维数组->中等。

的博客 526

一网打尽,25款能在本地流畅运行大模型的工具

在本地运行大型语言模型(LLM)的世界中,LMStudio、Ollama、Jan.ai和HuggingFace等工具各展所长,提供了从桌面应用到开源模型支持的多样化解决方案。这些工具不仅易于使用,还强调了隐私保护和本地处理能力,让AI技术更加贴近用户的日常需求。本文介绍在本地运行大型语言模型(LLM)的25个工具。

m0_59235699的博客 7389

华为OD机试 - 商品推荐多属性排序 - 数组(Python/JS/C/C++ 双机位A卷 100分)

本专栏收录于《华为OD机试真题(Python/JS/C/C++)》。刷的越多,抽中的概率越大,私信哪吒,备注华为OD,加入华为OD刷题交流群,每一题都有详细的答题思路、详细的代码注释、3个测试用例、为什么这道题采用XX算法、XX算法的适用场景,发现新题目,随时更新。双十一来临,小王准备买某个购物平台买坚果。在输入坚果时,页面默认按照综合推荐列表。小王想知道这个综合排序时如何完成的,于是便开始思考算法题。经过一番操作后,完成它的多个关键词排序算法。希望你给小王提供一份正确的排序结果,验证其实现算法结果的准确性

学Java,找哪吒 623

解决Ollama工具调用问题:使用LM Studio完美替代本地模型调用

本文介绍了使用LM Studio替代Ollama解决AutoGen项目中本地模型工具调用问题的方案。针对Ollama常见的工具调用失败、格式不一致等问题,LM Studio提供了更稳定的API接口和更好的兼容性。文章详细讲解了LM Studio的安装配置、本地端口暴露方法,并给出了AutoGen集成的代码示例。通过对比表展示了LM Studio在工具调用、资源占用等方面的优势,为开发者提供了一个更可靠的本地模型调用替代方案。

qq_27492797的博客 1524

提交 ieee 手稿出现:Do not include the Reviewer PDF with my submission 怎么办

IEEE投稿Reviewer PDF选项说明 投稿时出现的"Do not include the Reviewer PDF with my submission"选项控制是否附带评审专用PDF文件。Reviewer PDF是系统自动生成包含所有投稿材料的完整PDF,用于同行评审。建议保持默认不勾选状态,除非确认编辑部不需要该文件,否则可能影响审稿流程。勾选表示不附带此PDF,不勾选则会正常生成并提交该评审文件。

ZhangJiqun&191cm&85kg 2227

Android 14.0 首次开机默认授予app运行时权限(去掉运行时授权弹窗)

在14.0的系统rom产品定制化开发中,在6.0以后对于权限的申请,都需要动态申请,所以会在系统首次启动后,在app的首次运行时, 会弹出授权窗口,会让用户手动授予app运行时权限,在由于系统产品开发需要要求默认授予app运行时权限,不需要用户默认授予运行时弹窗,所以需要在首次开机默认授予所有app运行时权限

安卓兼职framework和app工程师的博客 2531

ollama无法启动?vLLM提供稳定替代方案

本文介绍vLLM作为ollama的稳定替代方案,解决本地大模型部署中的显存溢出、并发性能差等问题。其核心PagedAttention技术提升显存利用率,支持长上下文与高吞吐服务,并兼容OpenAI API,实现低迁移成本。适用于企业级AI应用对稳定性与性能的需求。

weixin_35749545的博客 884

带有HSE组件的S32系列芯片中各子系统如何依次启动?

仔细阐述了上电后各个子系统的启动顺序,并给出了详细的启动步骤流程图。

车载系统攻城狮 1704

Docker-Beta?ollama的完美替代品

Model Runner不是独立工具,而是Docker Desktop的原生扩展。它直接将大模型推理能力注入开发者最熟悉的Docker工作流。推理引擎:基于llama.cpp构建的高效推理引擎,深度优化Apple Silicon(M1/M2/M3芯片)的GPU加速能力。它作为后台服务运行,通过OpenAI兼容API暴露功能。模型即OCI工件:模型不再塞进臃肿的容器镜像。而是遵循OCI Artifacts标准独立分发。你可以像管理Docker镜像一样用。

weixin_45631123的博客 1679

学Simulink——线控转向(Steer‑By‑Wire, SBW)路感模拟与回正控制仿真

本文详细介绍了线控转向(SBW)系统的Simulink建模方法,重点讲解了路感模拟与回正控制的实现原理。文章首先分析了SBW系统结构,建立了方向盘和前轮的动力学方程;随后分步骤演示了Simulink建模过程,包括方向盘二阶动力学、前轮位置闭环控制、路感反馈计算等核心模块;最后通过仿真验证了转向跟随性能、路感反馈效果和自动回正功能。文中还提供了工程实现的关键参数和注意事项,为开发真实的SBW系统提供了实用指导。该模型可扩展应用于主动转向、故障注入等高级功能开发。

xiaoheshang_123的博客 42

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

llama.cpp是什么?

系列大语言模型(如 LLaMA-1/2、Alpaca 等)。它通过优化计算和内存管理,使得即使在没有高端 GPU 的普通电脑(甚至树莓派、手机等嵌入式设备)上也能运行大模型。(如 GGUF 格式),显著降低模型体积和内存占用(例如 7B 模型可压缩到 ~4GB)。支持多核 CPU、部分 GPU(通过 CUDA、Metal 或 Vulkan 后端)加速。支持多种 LLaMA 衍生模型(如 Alpaca、Vicuna、WizardLM 等)。),社区活跃,衍生出许多工具(如 Web 界面、绑定库等)。

runfarther的专栏 2249

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Shimmy - 隐私优先的 Ollama 替代方案

一、关于 Shimmy 1、项目概览 2、相关链接资源 3、功能特性 二、安装配置 三、使用示例 1、快速启动 2、Python SDK 集成 四、技术架构 五、性能对比 其它 参考项目

AI工程化、开源分享、文档翻译、代码笔记 1294

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

大模型本地部署神器:llama.cpp使用介绍

本节主要介绍什么是llama.cpp,以及llama.cpp、llama、ollama的区别。同时说明一下GGUF这种模型文件格式。llama.cpp是一个由Georgi Gerganov开发的高性能C++库,主要目标是在各种硬件上(本地和云端)以最少的设置和最先进的性能实现大型语言模型推理。主要特点:纯C/C++实现,没有任何依赖对Apple Silicon(如M1/M2/M3芯片)提供一流支持 - 通过ARM NEON、Accelerate和Metal框架优化。

2401_85390073的博客 1万+

使用 Ollama 替代 OpenAI API Key —— 免费运行本地大模型

这样 Ollama 会在后台持续运行,不会阻塞 Notebook。这种方式非常适合 本地开发、离线测试 或 低成本项目原型搭建。在开发中我们常使用 OpenAI 的 API,但当。一个简单且免费的解决办法是 ——时,程序会报错中断。

心流的博客 862

Ollama Web UI 教程 - 开源模型的 ChatGPT 替代品

Olama:本地运行开源大语言模型的利器 Olama 是一款能够在本地运行开源大语言模型的工具,它允许用户在自己的电脑上使用各种大型语言模型,例如 Llama353、MistralGamma、MistralLama2 和 CodeGamma。 Olama 的主要特点: 本地运行: Olama 允许用户在本地运行大语言模型,无需依赖云服务,确保数据安全和隐私。 开源模型支持: Olama 支持各种...

krishnaik06的博客 746

本地部署LLM工具大比拼:谁才是你的智能之选?

在人工智能的浪潮中,本地部署 LLM 工具为我们开启了个性化智能交互的新大门。今天,就带大家深入对比几款热门的本地部署 LLM 工具:ollama、Llamafile、jan、LLaMa.cpp、GPT4All、LM Studio,从多个关键角度剖析它们的特点与优势,助你挑选出最契合自身需求的智能伙伴。ollama 的安装便捷性堪称一流。只需一条简单的命令,就能在本地迅速启动开源大型语言模型,无论是 mac 还是 linux 系统,都能轻松驾驭。

Python_cocola的博客 1万+

开源跨平台大模型工具Ollama的安全隐患

据清华大学网络空间测绘联合研究中心分析,开源跨平台大模型工具Ollama默认配置存在未授权访问与模型窃取等安全隐患。鉴于目前DeepSeek等大模型的研究部署和应用非常广泛,多数用户使用Ollama私有化部署且未修改默认配置,存在数据泄露、算力盗取、服务中断等安全风险,极易引发网络和数据安全事件。

AI前沿技术的分享! 980

在本地运行 LLMs 的 6 种方法

探索LLMs本地运行方案

分享 GPU 管理与大模型推理相关技术实践 1182

告别DeepSeek崩溃!这7款Deep Seek平替AI工具又快又稳,免费还能联网!【2025年2月更新】

DeepSeek 官网入口、Deep Seek 下载使用、API 调用和本地部署攻略 最新使用指南~【2025年2月更新】 轻松使用 DeepSeek 网页版,快速稳定、不卡顿,支持 DeepSeek R1 满血版 以及 ChatGPT o1、o3 大模型。 本指南提供最全面的 DeepSeek 使用指南,包含 DeepSeek 官网入口、DeepSeek官网平替、DeepSeek 网页版、deep seek 下载使用、API 调用、DeepSeek 本地部署教程,助您顺畅使用 DeepSeek 和 Cha

snookeryy的博客 7704

如何使用 Ollama 和 Docker 设置 DeepSeek

随着对高效且强大的 AI 模型需求的不断增加,凭借其先进的语言处理能力而广受欢迎。提供了一种简单的方法,用于在本地运行和管理 AI 模型,使其成为部署的绝佳选择。在本指南中,我们将介绍使用的,确保安装和配置过程顺利进行。

IT枫斗者的博客 804

大模型框架:Ollama、vLLM、LightLLM、llama.cpp、LocalAI、veGiantModel

vLLM大模型框架作为一款高效的大模型推理与服务引擎,通过创新的PagedAttention技术、连续批处理、CUDA核心优化以及分布式推理支持,显著提高了LLM的推理性能。LightLLM作为一个轻量级、高性能的LLM推理和服务器框架,以其独特的设计、高效的性能和易用性,在LLM的推理和应用领域展现出了巨大的潜力。LightLLM引入了一种以Token为粒度进行kv cache显存管理的特性,通过高性能的算子和高效的显存申请释放方式,有效管理模型推理过程中的显存占用,减少显存碎片化问题。

顺其自然~专栏 8251
上一篇: 图形程序员入门球谐函数:解锁实时计算机图形学光照模拟新方法!
下一篇: Gemini 应用登陆 Mac:免费下载,开启快捷集成的桌面 AI 体验!
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值