自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(17)
  • 收藏
  • 关注

原创 大模型部署服务 RoCE 多网卡架构与方案详解:一台 8 卡服务器如何喂饱 3.2T 带宽?

一台 8 卡 GPU 服务器的网络出口是它的生死线:单张 400G 网卡看似很宽,但对 8 卡聚合通信需求来说远远不够。于是主流方案是**每 GPU 对应一张网卡**,一台 8 卡机插满 **8×400G 网卡,单机网络带宽 3.2Tbps**

2026-10-11 10:00:47 140

原创 大模型并行通信模式详解:DP / TP / PP / EP / CP,以及 3D/4D 混合并行怎么配

大模型训练与推理的本质矛盾是:**模型越来越大,单卡显存和算力都不够用**。解法只有一个字:切。但「切」有五种切法——数据并行(DP)、张量并行(TP)、流水线并行(PP)、专家并行(EP)、上下文并行(CP),每种切法产生完全不同的通信模式

2026-10-11 09:38:53 374

原创 大模型服务冷启动和预热:为什么「首请求卡十几秒」,又怎么让它秒级响应

大模型服务冷启动,是指推理服务从「进程启动 / 实例就绪」到「真正能高效响应请求」的升温过程;预热(Warmup),则是提前把升温期要做的事做完,让首个请求不再背锅。

2026-10-09 12:15:51 218

原创 GPU 拓扑详解:NVLink、NVSwitch 与 PCIe,一张图看懂多卡互联

**GPU 拓扑,是指一台服务器(或集群)内,多块 GPU 之间以及 GPU 与 CPU、网卡、内存之间物理互连的方式与层次关系。** 它决定了「任意两块卡之间能跑多快、走哪条路、需不需要 CPU 中转」,直接决定大模型多卡训练、推理与通信的最终性能天花板。

2026-10-08 19:47:39 373

原创 Agent 记忆原理与实现:从「金鱼脑」到「越用越聪明

大语言模型本质上是**无状态**的——对话一关,什么都不记得。本文讲清 Agent 记忆的原理与工程实现:为什么需要记忆、短期记忆(上下文窗口)与长期记忆(向量库+检索)的实现机制、语义/情节/程序性记忆的分层架构、写入→检索→更新→遗忘的完整生命周期,以及 Claude Code、Codex、OpenClaw 与 mem0 / Letta / Zep / LangMem 等主流方案的工程实践与选型建议。

2026-10-08 08:13:21 353

原创 Anthropic Claude 是什么?从公司理念到模型家族,一次讲清

Anthropic 是一家因 AI 安全而生的公司,Claude 是它把安全理念产品化的载体;Claude 的模型家族用诗歌命名——Haiku 快、Sonnet 均衡、Opus 最强,2026 年 9 月已迭代到 5.5;它不只在做模型,还在输出标准——Claude Code 与 MCP 协议,正在定义 AI 工具与 Agent 的接入方式。当模型能力逐渐趋同,安全、生态与工程标准,才是真正拉开差距的地方。

2026-10-07 18:10:52 454

原创 Coding Agent 开发:如何把缓存命中率做到 90%+

静态在前、动态在后——时间戳、git 状态塞进用户消息,绝不写进 system 正文要换模型就用 subagent 做侧活——主线模型不变、长前缀不动临时指令写进当前对话——别去改项目规则这种长期记忆压缩也要复用前缀——别另起 prompt 把历史拍平最后回到那句话:**在 Coding Agent 里,缓存不是优化项,而是架构地基。**你越早把它当成设计的第一性原理,后面要还的技术债就越少。

2026-10-07 18:08:02 149

原创 Agent Skills 深度解析:AI Agent 时代的「Dockerfile」,手把手教你开发一个 Skill

现在,你可以动手了:从一个每天重复的小流程开始,建一个文件夹,写一个 `SKILL.md`。**当 Agent 第一次在合适的时机自动加载你的 Skill 并漂亮地完成任务时,你会真正理解「给 AI 装技能」这件事的分量。**

2026-10-06 19:11:02 382

原创 Agent Runtime 是什么?为什么说它是 AI 下半场的「操作系统」

从"模型托管"到"智能体运行期",AI 基础设施正在经历一次静默而深刻的换轨。表面上看,大家还在聊模型;但真正决定 Agent 能不能规模落地的,已经是底下那层运行时——状态怎么存、权限怎么控、沙箱怎么隔离、任务怎么恢复。

2026-10-06 19:07:25 366

原创 Linux 服务器源码部署 DeepSeek Harness Web:从零到远程访问保姆级教程

DeepSeek Harness 目前**只有源码**一种 Linux 形态(桌面安装包仅提供 macOS / Windows)。源码拉取 → 安装依赖 → 构建 → 启动 Web UI → 反向代理,五步搞定。本文以 Ubuntu 22.04 为例完整演示一遍,末尾附 systemd 开机自启与远程访问的完整配置,全部命令都经过实测。

2026-10-02 20:53:23 257

原创 AI 原生组织岗位不存在了,我们如何适应?

AI 把传统层级里的**信息差拉平了**,靠「上传下达」吃饭的中间层价值正在被稀释。消失的不是中层,是「只做信息搬运」的岗位形态。

2026-09-30 10:05:48 208

原创 AI-Native 组织如何搭建?从认知到落地的完整指南

2026 年,几乎每家公司都在"用 AI",但绝大多数只是 AI-Augmented(AI 增强):把大模型当作提效插件,缝在旧流程上。真正拉开差距的是 **AI-Native(AI 原生)组织**——以 AI 能力为前提,重新设计流程、分工与考核。

2026-09-30 09:47:04 376

原创 Loop Engineering 是什么?AI 编程从 Prompt 到 Loop 的范式转变

这也是 Boris Cherny 那句"我的工作是写 loop"的真正含义。工作没有变容易,是杠杆的支点移动了。 以前你写一条好 prompt,收益是"这一次回答变好";现在你设计一个好 loop,收益是"之后每一次循环都变好"。投入从消耗品变成了资产。

2026-09-22 21:23:35 278

原创 Codex / Claude Code / OpenCode 接入火山方舟模型 API 完整指南

本文详解Codex、Claude Code、OpenCode三款AI编程助手接入火山方舟按量计费API的完整手工配置流程。核心要点:使用https://ark.cn-beijing.volces.com/api/v3(OpenAI兼容)或/api/compatible(Anthropic兼容)地址,避免误用套餐接口;通过向量云平台获取API Key并预充值,配置时指定真实模型ID(如deepseek-v4-1-flash-260910),并通过环境变量传递密钥,确保即用即扣、成本可控。

2026-09-22 10:28:13 463

原创 云厂商部署开源模型服务,KV Cache 缓存是怎么实现的?

云厂商部署开源大模型时,KV Cache 是影响推理吞吐与成本的核心。其通过缓存每层注意力的Key/Value矩阵,避免重复计算,但显存消耗随序列长度和并发线性增长。优化手段包括GQA/MQA结构压缩、分页缓存(PagedAttention)、前缀复用及PD分离架构。进一步通过缓存亲和路由——如一致性哈希、缓存感知网关(SGLang Router)、KV中心化搬运(Mooncake)等,实现高命中率,提升资源利用率。最终形成“网关路由→亲和调度→集群协同”的高效推理链路。

2026-09-20 10:25:30 52

原创 大模型深度思考与推理强度:Chat Completions 和 Responses API 怎么配?

DeepSeek V4 和 V4.1 Flash 都默认开启深度思考,模型回答前会先跑一段内部思维链,把问题拆解、分析、验证,再输出答案。开启思考后,下一个问题是:想多深?推理强度(Reasoning Effort)就是控制思维链长度的旋钮——档位越高,模型思考越充分,但耗时和 token 消耗也越大。

2026-09-19 15:35:09 267

原创 DeepSeek V4.1 Flash 可以识别视频吗?答案是可以,如何做到?

过去,大模型的视觉能力大多停留在**单张图片理解**的层面。你可以让它描述一张图、识别图中物体,但如果要理解一段视频的内容,往往需要自己手动抽帧、逐张投喂,再让模型把零散的画面"拼起来"理解。DeepSeek-V4.1-Flash 改变了这一切。作为 **CED 架构的首发模型**,它原生支持视频输入——你只需要传入一个视频 URL 或文件 ID,模型就能自动完成抽帧、理解时序、输出答案。整个过程开箱即用,无需额外预处理。

2026-09-19 14:49:44 642

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除