GLM 5.3 已上线 DigitalOcean AI 推理云平台:Agent 任务的高性价比底座来了

GLM-5.3-Flash 已上线 DigitalOcean AI 推理云平台:3200 亿参数、每 Token 仅激活 180 亿参数,支持 100 万 Token 上下文与原生图像/视频输入。DigitalOcean 调用价格低至每百万输入 Token 0.15 美元,并支持统一 API、多模型路由与模型评估。

Z.ai 最新发布的 GLM-5.3-Flash 现已上线 DigitalOcean Inference Engine(推理引擎),开发者可以直接通过 DigitalOcean 无服务器推理(Serverless Inference) 调用,无需自己部署和维护 GPU 推理集群。

如果你之前关注过 OpenRouter 和 OpenCode 上那个没有公开身份的 Ox Alpha,现在谜底也揭晓了:它就是 GLM-5.3-Flash。正式发布之后,这款模型在架构、长上下文和 Agent 能力上的定位也更加清晰。

GLM-5.3-Flash 采用 3200 亿参数 MoE(混合专家)架构,但每生成一个 Token 仅激活约 180 亿参数。它同时也是 GLM-5 系列中首款原生多模态模型,可以直接接收文本、图片和视频输入,并支持最高 100 万 Token 上下文。

更值得关注的是价格。目前 GLM-5.3-Flash 在 DigitalOcean 无服务器推理上的价格为每百万输入 Token 0.15 美元、输出 Token 0.50 美元。相比 GLM-5.2 的 1.40/4.40 美元,输入和输出价格都下降了接近 90%。

而且,DigitalOcean 并不是只提供一个 GLM-5.3-Flash API。开发者还可以通过同一套 API 接入平台上的 70 多款模型,并将 GLM-5.3-Flash 加入 Inference Router,与 Claude、GPT、DeepSeek、Qwen、Kimi 等模型一起,根据任务、成本和延迟选择更合适的模型。

对于正在做 AI Coding、Agent、长文档处理或者多模态应用的团队来说,这让 GLM-5.3-Flash 不只是一个值得测试的新模型,也可以成为现有多模型架构中的一个高性价比节点。

3200 亿参数,但每个 Token 只激活 180 亿

GLM-5.3-Flash 是一个 Mixture-of-Experts(MoE,混合专家)模型。

它拥有约 3200 亿总参数,但处理每个 Token 时只会激活其中约 180 亿参数。

这个数字甚至比此前 GLM-4.5 系列的 320 亿激活参数还要低。

对推理服务来说,这一点非常重要。3200 亿总参数、每个 Token 只激活 180 亿”意味着:模型拥有 3200 亿参数的总容量,但每次推理只调用其中一部分专家网络。这样做的核心好处是,可以在保留大模型容量的同时,把每个 Token 的实际计算量压下来。

模型总参数量决定了它能够容纳多大的知识和能力,而每次真正参与计算的激活参数,则会直接影响推理所需的算力、显存带宽以及最终成本。

GLM-5.3-Flash 更进一步的地方,在于它针对长上下文推理重新设计了 Attention 架构。

根据 Z.ai 官方介绍,模型采用了稀疏注意力(Sparse Attention)与线性注意力(Linear Attention)结合的混合架构:

  • Linear Attention 负责处理局部依赖关系;
  • Sparse Attention 则通过轻量级索引器检索全局上下文中真正相关的信息。

为了进一步减少 100 万 Token 上下文下的内存和延迟开销,GLM-5.3-Flash 还引入了 IndexPool,将四个 Indexer Key Vector 压缩为一个。

根据 Z.ai 公布的数据,与 GLM-5.3 相比,这套架构可以让 Attention 计算量降低约 3 倍,KV Cache 大小减少约 4.4 倍。

简单来说,GLM-5.3-Flash 并不是单纯把大模型“做小一点”,而是在模型结构层面专门针对长上下文和低成本推理做了优化。

这也是它名字里“Flash”真正重要的地方。

100 万 Token 上下文,更适合代码库和长周期 Agent

GLM-5.3-Flash 支持最高 1,048,576 Token,也就是约 100 万 Token 的上下文窗口。

对于普通聊天应用来说,这么大的上下文可能用不上。但在 AI Coding 和 Agent 场景中,情况完全不同。

例如让一个 Coding Agent 修改真实项目,它可能需要同时读取:

  • 大量源代码文件
  • README 和项目文档
  • API 定义
  • 数据库 Schema
  • 测试代码
  • Git Diff
  • 编译和运行日志
  • Agent 此前几十轮的工具调用结果

如果上下文窗口太小,Agent 就需要不断压缩、裁剪或者重新检索这些信息。一旦关键代码或者早期任务状态被丢掉,后面的判断就容易出现偏差。

100 万 Token 上下文意味着,可以让模型在一次任务过程中保留更多代码、文档和历史信息。

除了 Coding Agent,这种能力也比较适合:

  • 大型技术文档分析
  • 企业知识库
  • 合同与财务文档处理
  • 研究资料分析
  • 长周期 Agent 工作流
  • 大型代码仓库理解

当然,100 万 Token 并不意味着每个请求都应该塞进去 100 万 Token。长上下文仍然会增加延迟和推理费用。

真正重要的是,当任务确实需要完整上下文时,应用不必因为模型窗口太小而被迫提前裁剪大量信息。

GLM-5 系列首款原生多模态模型

相比 GLM-5.2,GLM-5.3-Flash 还有一个很明显的变化:

它不再只是文本模型。

GLM-5.3-Flash 是 Z.ai 在 GLM-5 系列中的首款原生多模态模型,可以同时接收:

文本、图片和视频。

DigitalOcean 无服务器推理中提供的 GLM-5.3-Flash API 同样支持文本、图像和视频输入。

这使得它能够处理一些传统纯文本 Agent 很难完成的任务。

例如,Coding Agent 不仅可以读取代码,还可以查看:

  • UI 截图
  • 网页页面
  • 数据图表
  • 设计稿
  • 视频内容
  • 软件运行结果

Z.ai 甚至展示了一些更加复杂的 Agent 工作流:模型读取设计图之后,通过代码调用 Blender、build123d 等工具生成 3D 场景或者 CAD 模型,随后再查看渲染结果,根据视觉反馈继续修改自己的代码。

这里比较值得关注的并不是“AI 能不能做 3D 建模”本身,而是背后的 Agent 工作方式发生了变化:

模型可以执行任务,然后真正“看见”自己的执行结果,再决定下一步做什么。

这对于 Computer Use、Browser Agent、设计自动化以及需要视觉反馈的 AI Agent 来说,会比单纯的文字输入更加实用。

AI Coding 和 Agent 能力提升明显

从 Z.ai 公布的 Benchmark 来看,GLM-5.3-Flash 的重点也非常明确:AI Coding 和 Agent。

几个比较值得关注的数据如下:

BenchmarkGLM-5.3-FlashGLM-5.2
Terminal-Bench 2.184.381.0
DeepSWE v1.163.446.2
Toolathlon Verified78.459.9
AutomationBench48.826.2
Agents’ Last Exam26.320.4

数据来自 Z.ai 官方公布的 GLM-5.3-Flash Benchmark。

其中比较明显的是 DeepSWE v1.1。

GLM-5.3-Flash 从 GLM-5.2 的 46.2 分提高到了 63.4 分,说明它在真实软件工程任务上的提升并不只是几个百分点。

AutomationBench 的变化甚至更大,从 26.2 提升到了 48.8。

这类 Benchmark 更值得 Agent 开发者关注,因为它测试的不只是“一次回答一道编程题”,而是模型在复杂环境里进行规划、使用工具、观察结果、继续执行任务的能力。

当然,Benchmark 并不能直接等同于生产环境体验。

不同 Coding Agent 框架、System Prompt、工具权限、推理参数甚至代码运行环境,都可能明显影响最终结果。

因此,更适合生产环境的做法不是看到某个 Benchmark 第一名就直接换模型,而是使用自己的真实任务进行测试。

这一点恰好也是 DigitalOcean 这次提供 GLM-5.3-Flash 时比较有意思的地方,后面我们还会提到它的 Model Evaluations。

每百万输入 Token 仅 0.15 美元

如果说能力提升只是 GLM-5.3-Flash 的一半,那么另一半就是价格。

目前 GLM-5.3-Flash 在 DigitalOcean 无服务器推理上的价格为:

模型输入 / 百万 Token输出 / 百万 Token
GLM-5.3-Flash0.15 美元0.50 美元
GLM-5.21.40 美元4.40 美元

另外,GLM-5.3-Flash 的 Prompt Cache Read 价格目前为每百万 Token 0.15 美元。

相比 GLM-5.2,GLM-5.3-Flash 的输入价格下降约 89%,输出价格下降约 89%。

这对于 Agent 场景尤其重要。

普通聊天可能只调用模型一次,但一个 Agent 为了完成任务,可能需要连续进行几十次甚至数百次模型调用。

它可能先分析任务,再搜索文件,然后读取代码、修改代码、运行测试、读取错误日志、再次修改……

调用次数一旦上去,每百万 Token 几美元和几毛钱之间的差距就会迅速放大。

也正因为如此,GLM-5.3-Flash 更适合一种越来越常见的需求:

不一定每次都追求最强的旗舰模型,而是希望找到一个能够承担大量日常 Agent 任务,同时成本足够低的模型。

一个 API,可以同时接入 70 多款模型

如果应用只准备使用 GLM-5.3-Flash,一个 Serverless Inference API 就已经够用了。

但实际生产环境往往不会这么简单。

一个 AI 产品里可能同时存在:

  • 简单文本分类
  • 内容摘要
  • 图片理解
  • 长上下文分析
  • Coding
  • Tool Calling
  • 深度推理
  • Agent 自动化

这些任务全部交给同一个模型,通常并不是最优解。

DigitalOcean 推理平台目前提供 70 多款模型,覆盖 OpenAI、Claude、DeepSeek、Qwen、Kimi、GLM、Llama、Nemotron 等多个模型系列。

对于应用开发者来说,一个比较直接的好处是:

可以使用同一套 API 接入这些模型。

不需要为了测试一个新模型,就重新对接一个平台、维护另一套 SDK 和鉴权逻辑。

而如果业务已经开始同时使用多个模型,还可以进一步使用 DigitalOcean Inference Router(推理路由器)。

例如:

简单分类和格式转换 → 低成本模型

日常 Coding 和 Agent → GLM-5.3-Flash

超复杂代码任务 → 更强的旗舰模型

长文档任务 → 长上下文模型

DigitalOcean Inference Router 可以根据成本、延迟或者任务类型,把不同请求分配给更加合适的模型。

这样 GLM-5.3-Flash 就不一定需要成为应用里“唯一的模型”,而可以成为整个 AI 推理架构中的一个重要节点。

尤其考虑到它目前每百万输入 Token 0.15 美元、输出 0.50 美元的价格,它很适合承担大量对能力有一定要求、但又没必要每次调用最贵模型的任务。

不确定哪个模型最好?还可以让多个模型一起回答

除了推理路由之外,DigitalOcean 现在还有一种更特别的多模型用法:Model Synthesis(多模型融合)。

它的逻辑和路由不太一样。

推理路由是:

从多个模型中选择一个模型处理这次请求。

而 Model Synthesis 则是:

让多个模型同时处理同一个问题,再由一个更高层的模型综合不同结果,最终给出一个答案。

DigitalOcean 当前支持最多选择 8 个分析模型并行处理请求,再由一个顶层模型生成最终结果。

例如,在一个复杂研究任务中,可以同时让 GLM-5.3-Flash、Qwen、DeepSeek 和 Claude 分别分析问题,再综合它们的结果。

当然,这种方法因为一次请求实际上调用了多个模型,所以成本和延迟都会明显高于普通单模型推理,并不适合所有场景。

它更适合高价值、低频率、对答案质量要求比较高的复杂分析和研究任务。

在 DigitalOcean 上,不需要自己部署 3200 亿参数模型

虽然 GLM-5.3-Flash 每次只激活 180 亿参数,但不要把“18B Active Parameters”理解成它就是一个普通 18B 模型。

它仍然拥有 3200 亿总参数。

如果自己部署,模型权重、KV Cache、长上下文、多 GPU 并行、推理框架、量化、并发调度以及高可用都需要自己处理。

而且,对于支持图片和视频输入的多模态模型,生产部署还会涉及额外的编码和推理链路。

DigitalOcean 这次提供的是 Serverless Inference(无服务器推理)。

也就是说,开发者不需要:

  • 自己租用和配置多张 GPU
  • 下载和维护模型权重
  • 部署 vLLM / SGLang 等推理框架
  • 配置 Tensor Parallel
  • 处理 GPU 扩缩容
  • 维护多模态推理服务
  • 为低谷期闲置的 GPU 持续付费

直接通过 API 调用,按照实际 Token 使用量计费即可。

DigitalOcean 中国区企业用户如果需要测试 GLM-5.3-Flash、评估 Token 成本、迁移现有 OpenAI API 应用,或者规划无服务器推理、推理路由器与 GPU 部署方案,也可以联系 DigitalOcean 中国区战略合作伙伴卓普云 AI Droplet(aidroplet.com)获取中文技术支持。

相关推荐

Spot GPU 与预留 GPU:AI 初创公司的实用成本指南

Spot GPU 可以显著降低灵活型训练任务和批量推理的成本。而对于稳定运行的生产工作负载,在将利用率、故障恢复和服务要求都纳入考量后,预留算力或其他可靠的算力方案可能更经济。任何一种采购模式,都不会仅凭名称就自动成为更好的选择。DigitalOcean 提供了一个明确的 H100 长期承诺价格基准。Azure 在所选区域提供了折扣幅度较大的 H100 NVL Spot 计费方案。Google Cloud 公布的 H100 Spot 折扣则低于其宣传的最高折扣幅度。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 190

不受限于 Copilot,教你在 VS Code 中接入 GPT、Claude

选择自定义接口后,VS Code 会要求填写模型提供商相关信息。Group Name(分组名称):FluxlaneAPI Key:粘贴刚刚在 Fluxlane 控制台创建的 API Key接下来,在 API 类型(API Type)中选择:Chat Completions。这里我们使用 OpenAI 兼容的 Chat Completions 接口。完成后,VS Code 会打开一个名为的配置文件,接下来需要在这个文件中填写具体的模型接口地址和模型 ID。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 298

WorkBuddy 接入自定义模型教程:接入 GPT、Claude 等大模型

在 WorkBuddy 主界面,点击底部输入框附近的模型选择器(默认显示当前模型名)。在弹出的模型列表最底部,点击“配置自定义模型你也可以从左下角头像进入“设置”,在左侧导航中选择“模型”,到达同一个配置页面。进入“模型”设置页后,点击右上角的“+ 添加模型在“提供商”下拉列表中选择最后一项“自定义 / Custom选择自定义后,接口地址、API Key、模型名称三个字段都需要手动填写。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 1770

DigitalOcean 提示词缓存正式上线,Agent 上下文最高省 90%

的提示词缓存(Prompt Caching)现已正式可用,开放模型目录中所有受支持的模型均可使用,无需修改现有请求代码。缓存输入 Token 的费用最高可降低 90%,首 Token 延迟最高可降低 80%。Agent 不会每次执行任务都从头开始。每次发起新请求时,它都会在已有上下文的末尾追加上一次工具调用的结果,而这个上下文中早已包含系统提示词、工具定义、读取过的所有文件,以及此前执行的每一步操作及其结果。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 598

DigitalOcean 无服务器推理实测:六款模型的首 Token 延迟表现

你有没有遇到过这种情况:Demo 跑得好好的语音助手,一上生产就被人吐槽"反应太慢";你翻遍模型规格表,每个都说自己"低延迟",但真到用户盯着屏幕等回复的时候,谁快谁慢你心里根本没底。更麻烦的是,这种等待是没法靠猜的。你挑了三四个模型,文档都说自己快,但没人告诉你:在你实际用的提示词长度下,谁真的能一秒内开口?谁在你把文档从 500 字加到 10,000 字之后会突然变慢?谁平时看着正常,却偶尔卡上十几秒让用户以为你的产品挂了?这些恰恰是选型时最该知道的事。但市面上没有一个简单、公开的答案。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 549

AI Agent 运行环境难搭、空闲还收费?MicroVMs 正式公测

AI Agent 使用计算资源的方式,跟传统应用不一样。在一次会话中,它会写代码、跑代码、调用模型,然后等一个工具或一个人,再接着干。所以它需要的是短促、高强度的真实计算爆发。它还需要在刚刚生成的代码周围划一道硬边界,这样某个 Agent 的错误就不会扩散到宿主机或其他客户那里。这种模式并不是 Agent 独有的。传统基础设施满足不了这些需求。一台 7×24 小时开着的服务器,去跑一个每小时只忙几分钟的工作负载,意味着你要为大量空闲计算时间买单。容器启动快、密度高,但它们和邻居共享内核。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 684

Agent Droplets 服务器正式上线:为 AI Agent 提供一站式云基础设施

上周,DigitalOcean 正式开放的公测:提供托管运行时、受权限控制的 16,000 多个工具访问、无服务器推理,以及持久化的内存和存储,全部运行在同一个云平台上。开发者已经启动了数千个 Agent Session。如今,构建一个真正有用的 Agent 已经不再困难,但要把它稳定地运行起来,依然是一件麻烦事。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 412

Claude Sonnet 5.5 现已上线 DigitalOcean AI 推理云

Anthropic 最新发布的现已上线。开发者无需单独管理 Anthropic 账号或模型基础设施,即可通过 DigitalOcean API 调用该模型,而且支持国内直连,无需担心网络障碍。相比上一代 Sonnet 5,这次升级并不是简单地把模型“做得更大”。根据 Anthropic 公布的数据,Sonnet 5.5 的输出速度比 Sonnet 5。虽然每百万 Token 的单价没有变化,但完成同一项任务通常需要更少的 Token,Anthropic 测试中单任务成本最高可降低约。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 1668

吞吐量 +38%:DigitalOcean 托管数据库高级版正式上线

随着业务规模不断扩大,数据库也会从一个简单的数据存储层,逐渐成为整个应用架构的核心。多年来,DigitalOcean 已帮助数千家初创企业和成长型公司轻松部署和扩展全托管的和数据库,无需承担复杂的日常运维工作。但随着访问流量快速增长、数据规模持续扩大,以及业务对可用性的要求越来越高,高增长工作负载需要更强大的数据库基础设施来支撑。正因如此,我们正式宣布 DigitalOcean 托管数据库 Advanced Edition(高级版)面向 MySQL 和 PostgreSQL 用户正式上线。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 491

DeepSeek V4.1 Flash 现已上线 DigitalOcean:更强 Agent,更低推理成本

DeepSeek 最新发布的现已上线,开发者可以直接通过调用,无需自己部署和维护 GPU 推理集群。这次的 V4.1 Flash 有点不一样。它并没有继续简单地追求“参数越大越好”,而是采用了 DeepSeek 新一代:模型总参数达到,但处理输入时只激活约,生成输出时激活约。更值得关注的是,在 DeepSeek 自己公布的测试中,这个“Flash”版本在不少 Agent 和 Coding Benchmark 上,反而超过了参数规模更大的。与此同时,它还支持。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 1316

DigitalOcean vs OpenRouter:2026 年 AI 模型路由对比

当生产环境中的应用开始依赖多个模型时,模型路由就不再是一个“有更好、没有也行”的功能,而会直接影响推理成本和服务可用性。如今,这已经不是少数应用才会遇到的问题。根据,81% 的受访者预计今年需要依赖两个或更多 LLM 提供方才能保持竞争力,55% 已经至少更换过一次提供方,其中最主要的原因就是降低成本。这种变化也带来了一个单靠应用代码很难解决的基础设施问题:模型路由逻辑究竟应该作为独立的一层,附加在现有技术栈之上,还是直接运行在承载应用的基础设施内部?OpenRouter 给出的答案是“模型市场”。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 1138

Kimi K3 + Claude:AI Agent 多模型路由实战

AI Agent 不同任务对模型能力的需求并不相同。本文以 Kimi K3 和 Claude 为例,介绍如何通过模型路由动态选择合适的模型,在兼顾任务质量和性能的同时,减少不必要的推理成本。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 1257

Omarchy 将研发基础设施迁移至 DigitalOcean 云平台

无论是用于打包的构建服务器、用于 PR 审查的智能体运行器,还是用于 QA 测试的 Droplet,DigitalOcean 恰好拥有我们需要的一切。简直不能想象更合适的合作伙伴了!Omarchy 的流水线就是这种模式的真实案例,而 DigitalOcean 的基础设施恰好契合其需求。除了基础设施迁移之外,DigitalOcean 还将以创始企业赞助方的身份加入 Omacom 基金会——该非营利组织为 Omarchy 的基础设施及其依赖的开源项目提供资金——并将担任 Omarchy 的智能体计算提供商。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 543

RAG 的 Embedding 模型需要微调吗?什么时候值得自己训练?

什么时候该继续用现成 Embedding API,什么时候值得自己微调?本文从 Recall@10、训练数据、向量维度和长期成本出发,给出判断方法,并介绍如何用 DigitalOcean GPU 与 PostgreSQL托管数据库搭建一套更可控的 RAG 检索架构。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 277

从API到专用GPU:2026年5大适合创业团队的AI推理平台深度对比

2026 年面向初创公司的 AI 推理服务商选型指南,深度对比 DigitalOcean、Groq、Replicate、Fireworks AI、Together AI 五家平台。从冷启动、缩容至零、扩展路径等维度评估,帮你找到从原型到生产的最优解,避免增长期的昂贵迁移。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 1062

GPT 6 Astra 已上线 DigitalOcean AI 推理云:AGI 时代的计算机操作模型来了

OpenAI 于 9 月 3 日正式发布的 GPT-6 Astra,现已通过 DigitalOcean正式上线。开发者无需自己部署和维护 GPU 推理集群,即可直接通过 DigitalOcean 调用这款 OpenAI 迄今为止能力最强的旗舰模型。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 1067

AMD旗舰GPU仅需4美元每小时,DigitalOcean上线Spot GPU实例

DigitalOcean AMD MI350X / MI355X Spot GPU 降至 $4/小时起。价格锁定、性价比极高,适合训练、批量推理等容错任务。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 602

GLM-5.3-Flash 成本优化实战:加一个参数,推理成本直降 6.3 倍

GLM-5.3-Flash API 到底要花多少钱?本文通过 2700 次真实调用,对比 GLM-5.3-Flash、Qwen3.8-Max 与 Kimi K3 的 Token 消耗和实际成本,并实测 reasoning_effort 如何将推理费用降低 6.3 倍。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 2254

Baseten vs DigitalOcean、RunPod:7 个 AI 模型部署平台横向对比

RunPod、Modal、Replicate 和 Spheron 与 Baseten 的核心产品竞争最直接。它们提供 Dedicated 或 Flexible GPU Infrastructure,用于运行自定义或微调模型,而不是只调用一个预建的 Model Catalog Entry。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 867

25 万条数据只花 7.04 美元,LLM 批量推理到底有多省?

25 万次请求被拆分成 7 个批量推理工作,全部完成且 0 失败;99.99% 的返回结果符合 JSON Schema,模型与数据集自带产品标签的一致性达到 83.6%。最大的推理任务每个包含 40,000 次请求,完成时间为 1.4~2.2 小时,远低于 24 小时的 Completion Window。一个包含 25,000 次请求、使用 Claude 模型的批量推理任务只用了 17 分钟。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 1563

面向 AI 工作负载,单核性能提升 30%:DigitalOcean v5 Droplets 云服务器正式上线

DigitalOcean 云平台正式推出。这是新一代计算实例,基于第 5 代 AMD EPYC™ 处理器打造。v5 Droplets 云服务器专为高性能工作负载设计,包括计算密集型 Agentic AI 平台、AI/ML 工具、高吞吐量音视频转码,以及高流量的分布式 Web 应用和 API。与上一代 Droplets 云服务器相比,v5 Droplets 云服务器的。同时,这也是 DigitalOcean 首次允许用户分别选择 vCPU、内存和存储容量,并只为实际选择的资源付费。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 1011

DigitalOcean 推理路由器新增缓存感知能力:为什么最便宜的模型不一定最省钱

Coinbase CEO Brian Armstrong 最近提出了一个问题,也是所有正在扩大 AI 使用规模的企业都在面对的问题:当 Token 用量呈指数增长时,怎样才能让 AI 支出保持基本不变?这并不是一个假设场景,而是各行各业的企业正在真实面对的问题:限制用量确实可以帮助控制账单,但也会同时限制真正有价值的工作。更好的办法,是通过更合理的默认模型、更智能的模型选择,以及针对具体工作负载更充分地利用缓存,改善每一次请求的成本结构。现在,DigitalOcean 推理路由器正式加入缓存感知(Cache

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 215

2026 LLM 成本计算指南:Token 价格、推理费用与降本方法

根据 2026 年的调查数据,去年接近四分之三的企业都出现了 AI 成本超出预算的情况。造成这一差距的一个重要原因,就是很多团队在工作负载进入生产环境之前,没有先做好准确的 LLM 成本测算。从价格表上看,Token 定价似乎很简单,无非就是每百万 Token 几美元,但真正的成本取决于工作负载上线后到底怎么运行。真实用户的提问和模型回答,长度往往和测试阶段的几个 Sample Prompt 不一样,可能更长,也可能更短。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 1432

Qwen3.8-2.4T-A95B 部署与性能解析:DigitalOcean 无服务器推理实测

Qwen3.8-2.4T-A95B 是阿里云在 2026 年 8 月发布的旗舰级开源大语言模型。它是从 Qwen3.8-Max 旗舰模型衍生而来的开放权重纯文本版本,采用混合专家架构,总参数量 2.4 万亿,每个 Token 大约激活 950 亿参数,主要面向编程、工具调用和长周期 Agent 任务。在 DigitalOcean 上,它以纯文本输入、纯文本输出的形式提供。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 871

多模型路由怎么选?2026 年 4 款主流方案对比

多模型路由位于应用和语言模型之间,负责决定每一个进入系统的请求应该交给哪个模型处理。在构建LLM 应用时,通常不存在一个模型能够在成本、延迟、推理、编程、视觉和 Tool Calling 等所有维度同时做到最好。如果应用直接调用一个固定模型,那么无论请求简单还是复杂,都只能使用同一种模型能力和价格。应用 → 多模型路由层 → 选择模型 → 执行请求 → 返回统一响应路由层先分析 Prompt 或匹配预设规则,再从候选模型中挑选更适合当前任务的模型,把请求发送出去,并以一致格式返回结果。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 866

Qwen 3.8 已上线 DigitalOcean AI 推理云平台

阿里通义千问新一代旗舰模型现已上线,并可通过直接调用。根据官方所说,这次上线的并不是一款“小修小补”的 Qwen 模型。Qwen3.8-2.4T-A95B 采用,每次推理激活约 950 亿参数,重点面向长上下文、AI 编程以及 Agent 智能体等复杂工作负载。尤其值得注意的是,它最高支持,在代码、工具调用和智能体任务上的表现已经进入当前前沿大模型梯队,而 DigitalOcean 上的调用价格为。单看价格,Qwen 3.8 未必是市场上最便宜的选择。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 223

AI Agent 性能优化:如何用无服务器推理降低延迟、提升响应速度?

如果你已经针对自己的业务场景 Fine-tune 了模型,并且拥有自己的权重,那么就需要一个地方来部署它。第四种是。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 713

AI 应用成本怎么算?从推理费用到完整 TCO 拆解

Token 价格比较,不等于 TCO 比较。一套完整 AI 应用最终比单纯的推理账单贵多少,取决于它是怎么搭出来的。在前面的自下而上模型中,一个集中在单一平台上的 RAG 技术栈,总成本约为推理费用的1.24 倍;而完全相同的工作负载拆到两个平台之后,总成本会达到推理费用的2.9 倍。两者之间的差距全部来自计算、存储、网络、数据库、数据出站和运维成本。而这些项目,没有一个会出现在 $/百万 Token 的价格表中。$67,727/月$84,827/月(高 25%)$110,337/月。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 640

多款模型最高直降 50%:DigitalOcean 无服务器推理大降价

这里给一些还不太熟悉 DigitalOcean 云平台的用户介绍一下。DigitalOcean 无服务器推理是一项托管式模型推理服务。开发者可以直接通过 API 调用基础模型,不需要购买 GPU、部署推理框架,也不需要自己处理扩缩容、模型升级和底层基础设施运维。目前,DigitalOcean Inference 提供 70 多款模型。简单来说,它把“搭建并维护一套大模型推理服务”变成了“调用一个 API”。Serverless Inference 按实际使用量计费。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 905

LLM 多模型路由终极指南:架构设计、成本优化与平台选型

多模型厂商路由并不是对推理模型厂商的一种威胁,而是认真做事的团队所构建的架构。理由是结构性的:没有哪家模型厂商拥有所有模型;可用性缺口让故障切换成为必需;而价格价差(同一个模型跨模型厂商时价差不小,跨模型层级时则非常剧烈)让路由在经济上变得合理。批处理/离线 → 最便宜的模型厂商实时聊天 → TTFT 最低的模型厂商小众模型 → 模型目录最广的模型厂商合规敏感 → 通过认证且区域正确的模型厂商故障切换 → 主模型厂商故障时的备用模型厂商。

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 613
上一篇: 25 万条数据只花 7.04 美元,LLM 批量推理到底有多省?
下一篇: Baseten vs DigitalOcean、RunPod:7 个 AI 模型部署平台横向对比
卓普云
卓普云 卓普云 卓普云
博客等级 码龄3年 3136粉丝 304原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值