大模型抽 JSON 贵上天？我算了一笔账：这个 287M 的开源小模型，把成本打到了几块钱

大模型抽 JSON 贵上天？我算了一笔账：这个 287M 的开源小模型，把成本打到了几块钱

【免费下载链接】gliner2.5-multi-v1 项目地址: https://ai.gitcode.com/hf_mirrors/fastino/gliner2.5-multi-v1

先说一个很多人没注意的细节。

你用大模型从新闻里抽几个字段、从合同里扒出甲乙方、从几万条评论里整理成表格——看起来很轻巧，实际上每一次调用，模型都要一个字一个字地把结果"抄"一遍。抄"公司名"这三个字要钱，抄那对花括号要钱，抄字段名"company"也要钱。

10 万条数据跑下来，账单能让人倒吸一口凉气。

最近技术圈在传一个开源项目 GLiNER2，主打的就是这件事：不生成、只划重点，把结构化抽取的成本压到接近零。它到底靠不靠谱？我把官方论文的实测数据翻了个底朝天，也把账重新算了一遍。

一、先算账：钱到底花在哪了

假设你要处理 10 万条中文文本，每条 500 字左右，抽出"公司、人物、产品、地点"四类信息。

走大模型路线，每次请求得带上任务说明、字段定义、最好再加两个示例，输入轻松到 1300 token；模型返回的 JSON 大概 200 token。

也就是说，10 万条下来，1.3 亿输入 token、2000 万输出 token。

按主流闭源模型公开报价粗算（输入约 18 元/百万 token、输出约 72 元/百万 token），账单大约是 3700 元。

这还是比较理想的跑法。真实项目里，JSON 少个引号、多一句"好的，以下是提取结果"，解析失败就得重试；领域稍微偏一点，示例就得加长。预算翻倍是常态。

而 GLiNER2 这边的成本结构完全是另一回事：模型文件 594MB，下载一次，之后在自己电脑或公司服务器上跑，没有按 token 计费这回事。跑 10 万条，耗的是电。

按论文实测的 CPU 延迟推算，单核跑完大概需要几个小时到十几个小时，电费也就几块钱。

一个是几千块，一个是几块钱。差距不是"优化了 30%"，是换了一套计价方式。

二、它到底是个啥？一句话：给文章发一张"答题卡"

GLiNER2 出自 Fastino AI，是 GLiNER 的升级版，采用 Apache 2.0 协议，商用免费。

它的思路和 ChatGPT 那类模型从根上就不一样。

大模型是"生成式"的：你问它，它组织语言回答，回答的每个字都是算出来的。

GLiNER2 是"判别式"的：你先把想要的字段写成一张表——人物、公司、产品、地点，然后它拿着这张表去原文里划出对应的词，顺便告诉你这个词在第几个字到第几个字。

打个比方。

大模型像一个刚招来的实习生，你把活儿交代一遍，他吭哧吭哧在 Word 里重新打一份交给你，打得越多，工钱越多，偶尔还会自己发挥两句。

GLiNER2 像一张带格子的答题卡：你提前印好格子，它拿荧光笔在原文上划，划完直接就是结构化数据。不重新打字，就不会有"抄错"和"多抄"。

所以它天生不会出现"少一个右括号导致程序崩溃"这种事——因为输出的字段是你事先定死的，不是它自由发挥的。

三、三组数据：速度、token、准确率

1. token：输出侧直接归零

这是省钱的核心。

大模型抽一条数据，输出 200 token 是打底的。GLiNER2 的输出不是"文本"，而是"位置 + 标签 + 置信度"，不消耗输出 token。

输入的算法也不同。大模型的提示词里要塞字段说明、示例、格式要求，越写越长；GLiNER2 的 schema 也要写，但写完就固定了，不会像对话那样越滚越大。

一条两条看不出差别，十万条就是两个数量级。

2. 速度：标签越多，优势越夸张

论文里有一张 CPU 延迟实测表，测试的是文本分类任务，单位毫秒：

• 5 个标签：GLiNER2 约 130ms，GPT-4o 约 358ms
• 20 个标签：GLiNER2 约 163ms，GPT-4o 约 425ms
• 50 个标签：GLiNER2 约 208ms，GPT-4o 约 463ms

注意看趋势：标签从 5 个涨到 50 个，GLiNER2 只从 130ms 涨到 208ms，几乎是平的。

原因很朴素：它把所有标签一次性摆上桌打分，一次前向计算搞定。而传统做法（比如 DeBERTa 那类）是一个标签跑一遍模型，20 个标签就要 6758ms，是 GLiNER2 的 40 多倍。

对比之下，GLiNER2 在纯 CPU 上跑，比走 API 的 GPT-4o 还快 2.6 倍左右。

没有显卡也能跑，这句话对它不是营销话术。

3. 准确率：追得很紧，但不是全能冠军

这是最需要说清楚的部分，别被"吊打大模型"的自媒体标题骗了。

在 CrossNER 跨领域零样本测试（AI、文学、音乐、政治、科学五个专业领域）上：

• GPT-4o 平均 F1：0.599
• GLiNER2 平均 F1：0.590

差了不到 1 个百分点。在文学领域它甚至反超（0.564 对 0.561）。

情感分类上，GLiNER2 拿到 0.86–0.87，DeBERTa 是 0.89–0.92，GPT-4o 还要再高约 10 个点。

意图识别上它反而很能打：SNIPS 拿到 0.83（DeBERTa 0.77），银行场景 Banking77 拿到 0.70（DeBERTa 只有 0.42）。

翻译成人话："找东西"这类活儿，它已经能干得跟大模型差不多；"理解话外之音"这类活儿，它还是差一截。

这也正常——它本来就不是来聊天的。

四、省下的钱，是用什么换来的

天下没有白捡的便宜，这份"代价清单"必须摆出来。

第一，它不会"想"，只会"找"。

你让它从合同里找出甲方、乙方、金额、签署日期，它很在行。你让它判断"这份合同有没有法律风险"，它做不了——那需要推理和世界知识，是生成式大模型的战场。

第二，字段必须提前定好。

它的能力边界由你写的 schema 决定。想要它"看着办，把重要的都抽出来"，不行。这既是它的稳定来源，也是它的死板之处。

第三，长文档要切块。

模型上下文是 4096 token，超长文档得分段处理，再做位置还原和去重。工程上不复杂，但确实要写点胶水代码。

第四，冷门领域会掉点。

零样本能力强，不等于万能。医疗、法律、工业这种术语密集的场景，想拿到生产级精度，通常还得拿几百上千条标注数据微调一下。好在它是开源的，微调不受限。

第五，机器得自己养。

不用付 token 费，但要有机子、要运维、要监控。对个人开发者这可能是一台旧笔记本，对公司就是一笔固定成本。量大才划算，量小反而折腾。

所以它不是"大模型平替"，而是**"把简单重复的抽取活儿，从贵的地方搬到便宜的地方"**。

五、普通人能玩吗？门槛比想象中低

比想象中低很多。

它是个 Python 库，一条安装命令就能装好，三行代码就能出结果。官方还提供了网页版演示界面，不用写代码，点点鼠标、填几个字段名，就能看到抽取效果——想先试试水的人，从这儿开始最合适。

模型有三档，按需选：

• 7400 万参数的小号：英文，纯 CPU 飞快，适合批量清洗数据
• 1.94 亿参数的中号：英文，多任务默认款
• 2.87 亿参数的多语言版：也就是这次看的这个，中英日法西等都支持，594MB，普通笔记本就能扛

这台机器不需要独立显卡。Mac 的 M 系列芯片、普通的办公本、甚至树莓派级别的设备，都能跑起来。

适合谁？

自媒体和运营：把几百篇行业新闻批量抽成"公司—事件—时间"的表格，做选题库。 电商和客服：几万条评论自动分出"物流、质量、价格、售后"，还能判断每条评论的情绪。 学生和研究者：做文献信息整理、问卷开放题编码，不用一条条手抄。 中小企业：合同、发票、工单里的关键字段自动入表，数据不出内网。

最后一点其实很值钱——数据不上传。医疗记录、财务流水、客户信息这类东西，很多公司根本不敢往 API 里送，本地能跑，本身就是刚需。

六、写在最后

这一轮 AI 浪潮里，最贵的从来不是模型，是重复。

同一个抽取任务跑十万次、一百万次，每一次都在为"重新组织语言"付费。GLiNER2 这类模型做的事情，说白了就是把"重新组织语言"这一步砍掉——答案本来就在原文里，何必再抄一遍？

当然，它不会取代大模型。会推理、会写作、会陪你讨论方案的，还是那些大块头。未来的常态大概率是分工：大模型负责想，小模型负责干，一个做大脑，一个做流水线工人。

真正值得琢磨的问题是：你手头那些天天在烧 token 的活儿，有多少其实根本不需要"智能"，只需要"准确"？

如果答案是"一大半"，那这笔账，你应该自己算一遍。

你所在的公司或团队，现在一个月在 API 上花多少钱？评论区聊聊，看看大家的"AI 账单"都长什么样。

【免费下载链接】gliner2.5-multi-v1 项目地址: https://ai.gitcode.com/hf_mirrors/fastino/gliner2.5-multi-v1