• 博客(305)
  • 收藏
  • 关注

原创 Spot GPU 与预留 GPU:AI 初创公司的实用成本指南

Spot GPU 可以显著降低灵活型训练任务和批量推理的成本。而对于稳定运行的生产工作负载,在将利用率、故障恢复和服务要求都纳入考量后,预留算力或其他可靠的算力方案可能更经济。任何一种采购模式,都不会仅凭名称就自动成为更好的选择。DigitalOcean 提供了一个明确的 H100 长期承诺价格基准。Azure 在所选区域提供了折扣幅度较大的 H100 NVL Spot 计费方案。Google Cloud 公布的 H100 Spot 折扣则低于其宣传的最高折扣幅度。

2026-11-03 09:34:10 189

原创 不受限于 Copilot,教你在 VS Code 中接入 GPT、Claude

选择自定义接口后,VS Code 会要求填写模型提供商相关信息。Group Name(分组名称):FluxlaneAPI Key:粘贴刚刚在 Fluxlane 控制台创建的 API Key接下来,在 API 类型(API Type)中选择:Chat Completions。这里我们使用 OpenAI 兼容的 Chat Completions 接口。完成后,VS Code 会打开一个名为的配置文件,接下来需要在这个文件中填写具体的模型接口地址和模型 ID。

2026-10-30 16:47:58 297

原创 WorkBuddy 接入自定义模型教程:接入 GPT、Claude 等大模型

在 WorkBuddy 主界面,点击底部输入框附近的模型选择器(默认显示当前模型名)。在弹出的模型列表最底部,点击“配置自定义模型你也可以从左下角头像进入“设置”,在左侧导航中选择“模型”,到达同一个配置页面。进入“模型”设置页后,点击右上角的“+ 添加模型在“提供商”下拉列表中选择最后一项“自定义 / Custom选择自定义后,接口地址、API Key、模型名称三个字段都需要手动填写。

2026-10-28 14:10:39 1741

原创 DigitalOcean 提示词缓存正式上线,Agent 上下文最高省 90%

的提示词缓存(Prompt Caching)现已正式可用,开放模型目录中所有受支持的模型均可使用,无需修改现有请求代码。缓存输入 Token 的费用最高可降低 90%,首 Token 延迟最高可降低 80%。Agent 不会每次执行任务都从头开始。每次发起新请求时,它都会在已有上下文的末尾追加上一次工具调用的结果,而这个上下文中早已包含系统提示词、工具定义、读取过的所有文件,以及此前执行的每一步操作及其结果。

2026-10-27 09:38:49 597

原创 DigitalOcean 无服务器推理实测:六款模型的首 Token 延迟表现

你有没有遇到过这种情况:Demo 跑得好好的语音助手,一上生产就被人吐槽"反应太慢";你翻遍模型规格表,每个都说自己"低延迟",但真到用户盯着屏幕等回复的时候,谁快谁慢你心里根本没底。更麻烦的是,这种等待是没法靠猜的。你挑了三四个模型,文档都说自己快,但没人告诉你:在你实际用的提示词长度下,谁真的能一秒内开口?谁在你把文档从 500 字加到 10,000 字之后会突然变慢?谁平时看着正常,却偶尔卡上十几秒让用户以为你的产品挂了?这些恰恰是选型时最该知道的事。但市面上没有一个简单、公开的答案。

2026-10-13 16:18:08 549

原创 AI Agent 运行环境难搭、空闲还收费?MicroVMs 正式公测

AI Agent 使用计算资源的方式,跟传统应用不一样。在一次会话中,它会写代码、跑代码、调用模型,然后等一个工具或一个人,再接着干。所以它需要的是短促、高强度的真实计算爆发。它还需要在刚刚生成的代码周围划一道硬边界,这样某个 Agent 的错误就不会扩散到宿主机或其他客户那里。这种模式并不是 Agent 独有的。传统基础设施满足不了这些需求。一台 7×24 小时开着的服务器,去跑一个每小时只忙几分钟的工作负载,意味着你要为大量空闲计算时间买单。容器启动快、密度高,但它们和邻居共享内核。

2026-10-12 16:28:30 684

原创 Agent Droplets 服务器正式上线:为 AI Agent 提供一站式云基础设施

上周,DigitalOcean 正式开放的公测:提供托管运行时、受权限控制的 16,000 多个工具访问、无服务器推理,以及持久化的内存和存储,全部运行在同一个云平台上。开发者已经启动了数千个 Agent Session。如今,构建一个真正有用的 Agent 已经不再困难,但要把它稳定地运行起来,依然是一件麻烦事。

2026-10-08 16:58:42 406

原创 Claude Sonnet 5.5 现已上线 DigitalOcean AI 推理云

Anthropic 最新发布的现已上线。开发者无需单独管理 Anthropic 账号或模型基础设施,即可通过 DigitalOcean API 调用该模型,而且支持国内直连,无需担心网络障碍。相比上一代 Sonnet 5,这次升级并不是简单地把模型“做得更大”。根据 Anthropic 公布的数据,Sonnet 5.5 的输出速度比 Sonnet 5。虽然每百万 Token 的单价没有变化,但完成同一项任务通常需要更少的 Token,Anthropic 测试中单任务成本最高可降低约。

2026-09-29 15:19:34 1667

原创 吞吐量 +38%:DigitalOcean 托管数据库高级版正式上线

随着业务规模不断扩大,数据库也会从一个简单的数据存储层,逐渐成为整个应用架构的核心。多年来,DigitalOcean 已帮助数千家初创企业和成长型公司轻松部署和扩展全托管的和数据库,无需承担复杂的日常运维工作。但随着访问流量快速增长、数据规模持续扩大,以及业务对可用性的要求越来越高,高增长工作负载需要更强大的数据库基础设施来支撑。正因如此,我们正式宣布 DigitalOcean 托管数据库 Advanced Edition(高级版)面向 MySQL 和 PostgreSQL 用户正式上线。

2026-09-21 14:24:43 490

原创 DeepSeek V4.1 Flash 现已上线 DigitalOcean:更强 Agent,更低推理成本

DeepSeek 最新发布的现已上线,开发者可以直接通过调用,无需自己部署和维护 GPU 推理集群。这次的 V4.1 Flash 有点不一样。它并没有继续简单地追求“参数越大越好”,而是采用了 DeepSeek 新一代:模型总参数达到,但处理输入时只激活约,生成输出时激活约。更值得关注的是,在 DeepSeek 自己公布的测试中,这个“Flash”版本在不少 Agent 和 Coding Benchmark 上,反而超过了参数规模更大的。与此同时,它还支持。

2026-09-17 14:24:53 1314

原创 DigitalOcean vs OpenRouter:2026 年 AI 模型路由对比

当生产环境中的应用开始依赖多个模型时,模型路由就不再是一个“有更好、没有也行”的功能,而会直接影响推理成本和服务可用性。如今,这已经不是少数应用才会遇到的问题。根据,81% 的受访者预计今年需要依赖两个或更多 LLM 提供方才能保持竞争力,55% 已经至少更换过一次提供方,其中最主要的原因就是降低成本。这种变化也带来了一个单靠应用代码很难解决的基础设施问题:模型路由逻辑究竟应该作为独立的一层,附加在现有技术栈之上,还是直接运行在承载应用的基础设施内部?OpenRouter 给出的答案是“模型市场”。

2026-09-16 16:31:37 1137

原创 Kimi K3 + Claude:AI Agent 多模型路由实战

AI Agent 不同任务对模型能力的需求并不相同。本文以 Kimi K3 和 Claude 为例,介绍如何通过模型路由动态选择合适的模型,在兼顾任务质量和性能的同时,减少不必要的推理成本。

2026-09-14 15:46:21 1255

原创 Omarchy 将研发基础设施迁移至 DigitalOcean 云平台

无论是用于打包的构建服务器、用于 PR 审查的智能体运行器,还是用于 QA 测试的 Droplet,DigitalOcean 恰好拥有我们需要的一切。简直不能想象更合适的合作伙伴了!Omarchy 的流水线就是这种模式的真实案例,而 DigitalOcean 的基础设施恰好契合其需求。除了基础设施迁移之外,DigitalOcean 还将以创始企业赞助方的身份加入 Omacom 基金会——该非营利组织为 Omarchy 的基础设施及其依赖的开源项目提供资金——并将担任 Omarchy 的智能体计算提供商。

2026-09-11 15:39:12 543

原创 RAG 的 Embedding 模型需要微调吗?什么时候值得自己训练?

什么时候该继续用现成 Embedding API,什么时候值得自己微调?本文从 Recall@10、训练数据、向量维度和长期成本出发,给出判断方法,并介绍如何用 DigitalOcean GPU 与 PostgreSQL托管数据库搭建一套更可控的 RAG 检索架构。

2026-09-10 17:19:18 276

原创 从API到专用GPU:2026年5大适合创业团队的AI推理平台深度对比

2026 年面向初创公司的 AI 推理服务商选型指南,深度对比 DigitalOcean、Groq、Replicate、Fireworks AI、Together AI 五家平台。从冷启动、缩容至零、扩展路径等维度评估,帮你找到从原型到生产的最优解,避免增长期的昂贵迁移。

2026-09-09 16:41:47 1061

原创 GPT 6 Astra 已上线 DigitalOcean AI 推理云:AGI 时代的计算机操作模型来了

OpenAI 于 9 月 3 日正式发布的 GPT-6 Astra,现已通过 DigitalOcean正式上线。开发者无需自己部署和维护 GPU 推理集群,即可直接通过 DigitalOcean 调用这款 OpenAI 迄今为止能力最强的旗舰模型。

2026-09-07 16:50:34 1065

原创 AMD旗舰GPU仅需4美元每小时,DigitalOcean上线Spot GPU实例

DigitalOcean AMD MI350X / MI355X Spot GPU 降至 $4/小时起。价格锁定、性价比极高,适合训练、批量推理等容错任务。

2026-09-04 17:05:52 602

原创 GLM-5.3-Flash 成本优化实战:加一个参数,推理成本直降 6.3 倍

GLM-5.3-Flash API 到底要花多少钱?本文通过 2700 次真实调用,对比 GLM-5.3-Flash、Qwen3.8-Max 与 Kimi K3 的 Token 消耗和实际成本,并实测 reasoning_effort 如何将推理费用降低 6.3 倍。

2026-09-03 16:47:23 2252

原创 Baseten vs DigitalOcean、RunPod:7 个 AI 模型部署平台横向对比

RunPod、Modal、Replicate 和 Spheron 与 Baseten 的核心产品竞争最直接。它们提供 Dedicated 或 Flexible GPU Infrastructure,用于运行自定义或微调模型,而不是只调用一个预建的 Model Catalog Entry。

2026-09-03 09:33:43 867

原创 GLM 5.3 已上线 DigitalOcean AI 推理云平台:Agent 任务的高性价比底座来了

GLM-5.3-Flash 已上线 DigitalOcean AI 推理云平台:3200 亿参数、每 Token 仅激活 180 亿参数,支持 100 万 Token 上下文与原生图像/视频输入。DigitalOcean 调用价格低至每百万输入 Token 0.15 美元,并支持统一 API、多模型路由与模型评估。Z.ai 最新发布的现已上线,开发者可以直接通过调用,无需自己部署和维护 GPU 推理集群。如果你之前关注过 OpenRouter 和 OpenCode 上那个没有公开身份的。

2026-08-28 15:09:37 1014

原创 25 万条数据只花 7.04 美元,LLM 批量推理到底有多省?

25 万次请求被拆分成 7 个批量推理工作,全部完成且 0 失败;99.99% 的返回结果符合 JSON Schema,模型与数据集自带产品标签的一致性达到 83.6%。最大的推理任务每个包含 40,000 次请求,完成时间为 1.4~2.2 小时,远低于 24 小时的 Completion Window。一个包含 25,000 次请求、使用 Claude 模型的批量推理任务只用了 17 分钟。

2026-08-27 14:16:34 1563

原创 面向 AI 工作负载,单核性能提升 30%:DigitalOcean v5 Droplets 云服务器正式上线

DigitalOcean 云平台正式推出。这是新一代计算实例,基于第 5 代 AMD EPYC™ 处理器打造。v5 Droplets 云服务器专为高性能工作负载设计,包括计算密集型 Agentic AI 平台、AI/ML 工具、高吞吐量音视频转码,以及高流量的分布式 Web 应用和 API。与上一代 Droplets 云服务器相比,v5 Droplets 云服务器的。同时,这也是 DigitalOcean 首次允许用户分别选择 vCPU、内存和存储容量,并只为实际选择的资源付费。

2026-08-27 14:11:49 1011

原创 DigitalOcean 推理路由器新增缓存感知能力:为什么最便宜的模型不一定最省钱

Coinbase CEO Brian Armstrong 最近提出了一个问题,也是所有正在扩大 AI 使用规模的企业都在面对的问题:当 Token 用量呈指数增长时,怎样才能让 AI 支出保持基本不变?这并不是一个假设场景,而是各行各业的企业正在真实面对的问题:限制用量确实可以帮助控制账单,但也会同时限制真正有价值的工作。更好的办法,是通过更合理的默认模型、更智能的模型选择,以及针对具体工作负载更充分地利用缓存,改善每一次请求的成本结构。现在,DigitalOcean 推理路由器正式加入缓存感知(Cache

2026-08-24 16:43:20 215

原创 2026 LLM 成本计算指南:Token 价格、推理费用与降本方法

根据 2026 年的调查数据,去年接近四分之三的企业都出现了 AI 成本超出预算的情况。造成这一差距的一个重要原因,就是很多团队在工作负载进入生产环境之前,没有先做好准确的 LLM 成本测算。从价格表上看,Token 定价似乎很简单,无非就是每百万 Token 几美元,但真正的成本取决于工作负载上线后到底怎么运行。真实用户的提问和模型回答,长度往往和测试阶段的几个 Sample Prompt 不一样,可能更长,也可能更短。

2026-08-20 17:27:41 1432

原创 Qwen3.8-2.4T-A95B 部署与性能解析:DigitalOcean 无服务器推理实测

Qwen3.8-2.4T-A95B 是阿里云在 2026 年 8 月发布的旗舰级开源大语言模型。它是从 Qwen3.8-Max 旗舰模型衍生而来的开放权重纯文本版本,采用混合专家架构,总参数量 2.4 万亿,每个 Token 大约激活 950 亿参数,主要面向编程、工具调用和长周期 Agent 任务。在 DigitalOcean 上,它以纯文本输入、纯文本输出的形式提供。

2026-08-18 15:29:53 869

原创 多模型路由怎么选?2026 年 4 款主流方案对比

多模型路由位于应用和语言模型之间,负责决定每一个进入系统的请求应该交给哪个模型处理。在构建LLM 应用时,通常不存在一个模型能够在成本、延迟、推理、编程、视觉和 Tool Calling 等所有维度同时做到最好。如果应用直接调用一个固定模型,那么无论请求简单还是复杂,都只能使用同一种模型能力和价格。应用 → 多模型路由层 → 选择模型 → 执行请求 → 返回统一响应路由层先分析 Prompt 或匹配预设规则,再从候选模型中挑选更适合当前任务的模型,把请求发送出去,并以一致格式返回结果。

2026-08-14 15:37:01 863

原创 Qwen 3.8 已上线 DigitalOcean AI 推理云平台

阿里通义千问新一代旗舰模型现已上线,并可通过直接调用。根据官方所说,这次上线的并不是一款“小修小补”的 Qwen 模型。Qwen3.8-2.4T-A95B 采用,每次推理激活约 950 亿参数,重点面向长上下文、AI 编程以及 Agent 智能体等复杂工作负载。尤其值得注意的是,它最高支持,在代码、工具调用和智能体任务上的表现已经进入当前前沿大模型梯队,而 DigitalOcean 上的调用价格为。单看价格,Qwen 3.8 未必是市场上最便宜的选择。

2026-08-13 16:15:35 222

原创 AI Agent 性能优化:如何用无服务器推理降低延迟、提升响应速度?

如果你已经针对自己的业务场景 Fine-tune 了模型,并且拥有自己的权重,那么就需要一个地方来部署它。第四种是。

2026-08-12 16:34:58 713 1

原创 AI 应用成本怎么算?从推理费用到完整 TCO 拆解

Token 价格比较,不等于 TCO 比较。一套完整 AI 应用最终比单纯的推理账单贵多少,取决于它是怎么搭出来的。在前面的自下而上模型中,一个集中在单一平台上的 RAG 技术栈,总成本约为推理费用的1.24 倍;而完全相同的工作负载拆到两个平台之后,总成本会达到推理费用的2.9 倍。两者之间的差距全部来自计算、存储、网络、数据库、数据出站和运维成本。而这些项目,没有一个会出现在 $/百万 Token 的价格表中。$67,727/月$84,827/月(高 25%)$110,337/月。

2026-08-10 17:35:33 639

原创 多款模型最高直降 50%:DigitalOcean 无服务器推理大降价

这里给一些还不太熟悉 DigitalOcean 云平台的用户介绍一下。DigitalOcean 无服务器推理是一项托管式模型推理服务。开发者可以直接通过 API 调用基础模型,不需要购买 GPU、部署推理框架,也不需要自己处理扩缩容、模型升级和底层基础设施运维。目前,DigitalOcean Inference 提供 70 多款模型。简单来说,它把“搭建并维护一套大模型推理服务”变成了“调用一个 API”。Serverless Inference 按实际使用量计费。

2026-08-06 17:10:31 904

原创 LLM 多模型路由终极指南:架构设计、成本优化与平台选型

多模型厂商路由并不是对推理模型厂商的一种威胁,而是认真做事的团队所构建的架构。理由是结构性的:没有哪家模型厂商拥有所有模型;可用性缺口让故障切换成为必需;而价格价差(同一个模型跨模型厂商时价差不小,跨模型层级时则非常剧烈)让路由在经济上变得合理。批处理/离线 → 最便宜的模型厂商实时聊天 → TTFT 最低的模型厂商小众模型 → 模型目录最广的模型厂商合规敏感 → 通过认证且区域正确的模型厂商故障切换 → 主模型厂商故障时的备用模型厂商。

2026-08-05 17:31:27 613

原创 LLM 推理成本降了 59%:缓存命中率从 7% 到 74%的实践

KV 缓存是自动的,范围仅限于单次请求内部——它让模型能够增量式地生成 token,而无需在每一步解码时都从头重新计算整个序列的注意力。提示(前缀)缓存是这个想法在跨请求上的延伸:当后续请求与先前请求共享相同的开头 token 时,平台会直接复用已经计算好的 KV 状态,而不是重新处理。你不需要配置 KV 缓存;但你需要配置前缀缓存,做法就是把你的提示词组织成稳定内容在最前面的结构。提示缓存是一种降低 LLM 成本与延迟的强大工具。它是一项实现起来相对省力,却能对你的核心成本产生显著影响的简单技术。

2026-08-04 16:17:37 646

原创 部署 Kimi K3 需要多少 GPU?自托管与 API 成本对比

对于大多数团队,按 Token 计费的无服务器推理仍是运行 Kimi K3 更经济、简单的方式:无需一次性租用至少 8 张高端 GPU,也不必持续承担模型部署、推理框架和集群运维成本。只有当业务拥有长期稳定的高并发流量,GPU 能够保持较高利用率,或者对数据驻留、性能一致性、自有权重和基础设施控制有明确要求时,自托管或专用推理才更值得考虑。按照本文采用的价格和负载假设,单个重度用户使用 API 可能比租用 GPU 自托管便宜约 40 倍;

2026-08-03 15:55:50 2354

原创 OpenAI API如何迁移到兼容平台?代码修改与功能差异详解

对于基础的 Chat Completions 调用,切换到 DigitalOcean Serverless Inference 只需修改三处:基础 URL、凭证和模型 ID。除此之外,应将它理解为格式兼容 OpenAI,而非与 OpenAI 功能完全对等。迁移生产流量之前,请通过确认模型 ID,核实应用依赖的具体参数、工具和端点是否受支持,并查看模型目录及推理服务限制。

2026-07-30 17:11:59 857

原创 AI 推理服务迁移指南:从 OpenAI、Anthropic 切换到多模型推理云

对使用 OpenAI 兼容 API 的应用,通常只需修改base_urlapi_key和model三项配置。迁移到多模型推理云后,可以根据任务质量、成本和延迟要求,在 OpenAI、Claude、DeepSeek、Kimi、Qwen 等模型之间进行选择。OpenAI 兼容不代表所有能力完全一致。提示词、工具调用、结构化输出、嵌入向量和流式响应仍需逐项验证。先迁移接口,再更换模型。使用相同或能力相近的模型确认接口正常后,再测试开放权重模型,最后通过金丝雀发布逐步切换生产流量。

2026-07-29 15:50:34 230

原创 Kimi K3 现已上线 DigitalOcean 无服务器推理

Moonshot AI 的最新旗舰模型 ​​——也是目前公开发布的最大规模开源模型——现已通过正式上线。Kimi K3 专为长时自主 Agent 工作负载设计:自主编码、多步研究、以及需要在数百次工具调用中稳定运行而不丢失上下文的生产级 AI Agent。它可以通过 Serverless Inference 集成到现有应用中,享有按量计费与全托管基础设施。

2026-07-28 14:47:56 2675

原创 Claude Opus 5 现已上线 DigitalOcean AI 推理云

Anthropic 的 Claude Opus 5——最新旗舰级模型,现已通过正式上线。Opus 5 专为高要求的 Agent 工作流设计,在复杂软件工程、科学研究和企业自动化等任务上均达到前沿水准。它支持长上下文推理、工具调用与结构化输出,同时带来了显著提升的成本效率——性能接近 Claude Fable 5,但定价仅为后者的一半。

2026-07-27 15:34:48 624

原创 多模型融合推理:花 Fable 5 一半的钱,效果反而更好

每个做 AI 开发的人最终都会面对同一个取舍:怎么让花的每一块钱都换来尽可能高的智能——为每个任务找到最合适的模型、最合适的成本。这正是 DigitalOcean 推理引擎被设计出来的初衷。在最困难的深度研究任务上,将多个模型的输出结果做一次融合,效果要远远好过只靠一个模型。一个全部由开源模型组成的组合(GLM 5.2 + Kimi K2.6),其得分超过了我们测试的每一个单模型,包括 Fable 5,而每个任务的成本却只有它的大约一半。是 DigitalOcean。

2026-07-24 16:27:10 200

原创 DeepSeek v4 Pro / GLM 5.2 / Kimi K2.6 / GPT 5.6 Sol:4 款大模型在 DigitalOcean 无服务器推理上的成本与能力对比

大模型选型没有标准答案,但有方法论。价格表只是起点,CV、冗长度、场景匹配才是真正的 ROI 决定因素。DigitalOcean 的无服务器推理把这四个模型放在同一个平台上,让你可以低成本、零摩擦地完成从测试到生产的整个流程。你不需要同时维护四套 API 对接代码、四份账单、四个账号。一个 API Key,切换模型只需改一个参数名。如果你的团队正在做模型选型,但不确定自己业务场景下的最优模型组合是什么,或者想要计算更精确的成本预估,可以直接咨询 DigitalOcean 中国区战略合作伙伴。

2026-07-23 15:38:39 1619

原创 同一个大模型,为什么在不同云平台跑出来的推理效果完全不同?

无服务器推理目录并不是一张所有模型都得到同等支持的平铺列表。它们是一个分层的系统,每家供应商都选择性地对某些模型进行投入,让它们享受热副本、精细的量化优化以及专门的工程关注,而其他模型则只能去分那些剩下来的、边边角角的容量。这些层级是隐性的、无文档记录的,而且每个平台都各不相同。在实践中的后果就是,模型评估和供应商评估完全是两码事,是两件要分开决策的事。在任何一家供应商上,你用少量请求就能评估出模型的质量好坏。

2026-07-21 14:45:47 1262

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除