- 博客(35)
- 收藏
- 关注
RSS订阅原创 AIGC 影视合规追溯：要长期留存的素材怎么存得下——按「稳态」规划容量 + 冷热分层归档（附估算脚本）
承接上一篇：AIGC 微短剧要能自证 AI 占比，就得长期留存可追溯的素材（微短剧新规 9 月 1 日施行后是硬要求）。这些必须留够周期的素材怎么存得下？本文讲两件事：容量要按「每月产量 × 留存周期」的稳态算、不按单部；久远的留存靠冷热分层归档压住。示例：每部留证 60GB、每月 10 部、留 24 个月，稳态 14.06TB，近九成可归低频冷层。附零依赖估算脚本，参数可自调。
2026-08-23 10:00:00
223
原创 微短剧新规 9 月 1 日施行：AIGC 微短剧的「AI 标识 + 占比追溯」怎么在制作流水线里落地（附自查脚本）
《微短剧发展管理办法》2026 年 9 月 1 日施行：AI 生成的微短剧要每集加标识，剧本/画面/配音三环节 AI 占比过线要标「AI 辅助制作」。本文不谈政策、只讲工程落地：AI 占比怎么按三环节量化、素材来源怎么追溯（provenance/内容凭证思路）、AI 标识怎么在渲染时焊进画面随视频编码走。附零依赖自查脚本，阈值可调、以官方《办法》原文为准。
2026-08-22 10:00:00
740
原创 影视 AIGC 素材管理：改到第 108 版，为什么「块级去重」能把 TB 级素材压回百 GB（附估算脚本）
影视 AIGC 是「大文件 × 高迭代」：一部片改到第 108 版，累计素材冲到 1.24TB，这上百版怎么存才不爆盘？本文用一个零依赖脚本并排算三种存法：全量快照 1.24TB，块级去重能压回约 137GB（9.2 倍）。并讲清一个最易踩的坑——文件级去重在「全局调色」这种改动下会退化成全量快照，只有块级去重（内容寻址+CDC）救得回。附脚本，可代入自己的项目参数复算
2026-08-21 11:11:53
198
原创 影视 AIGC 本地工作流：分镜到成片，为什么「改到第 108 版」的项目算力得留在本地（附估算脚本）
影视 AIGC 和跑文本模型根子上不同：产出是图和短预演这类大文件，且创作要反复迭代（分镜、角色、镜头改到几十上百版是常态）。于是两笔账常被低估——项目累计素材=分镜×每镜产出×版本数，每改一版的数据搬运=素材体积÷带宽。本文把这两笔账掰开算，附一个零依赖估算脚本，帮你判断自己的影视 AIGC 负载该留在本地还是能上云：单版才 12GB，改到第 108 版累计 1.24TB。
2026-08-20 11:26:40
193
原创 16 台 DGX Spark 跑 Kimi-K3：多机推理卡吞吐的常是网络不是算力（附估算脚本）
把一个大模型切到多台机器上组网跑，很多人只盯着算力够不够。但单 token 的时间是「计算 + 网络」两笔：按层切分时，每算完一段就要跨节点传一次中间结果，机器越多、上下文越长、并发 越高、链路越慢，网络这笔就越大。本文以 16 台 DGX Spark 组网跑 Kimi-K3 的经验，讲清多机 推理里网络何时会反超算力成为瓶颈，并附一个零依赖的估算脚本，帮你按自己的场景先算清楚瓶颈 在哪一侧、再决定往哪投钱。
2026-08-19 11:25:55
247
原创 16 台 DGX Spark 组网本地跑通 2.8T 的 Kimi-K3：一台 4 口交换机的组网方法与实测
大模型本地部署主流靠堆几十张显卡。我们走了另一条路：用 16 台桌面级 DGX Spark、一台 4 口交换机组网，把约 2.8T 总参的开源模型 Kimi-K3 在本地跑通，按层切分到 16 台协同推理， 单流输出约 20 tokens/s——与公开信息里 80 张 RTX 5090 的结果基本一致。本文摊开硬件、组网 方式、模型切分与实测，并给出一份可复现清单：4 口交换机 + 16 台 + 开源权重，照着就能搭。
2026-08-18 11:53:33
557
原创 128K 上下文实际只有 2048：num_ctx 默认坑 + KV cache 显存账（附换算脚本）
本地部署标称 128K 上下文的开源大模型，实际却常常只吃到 2048——不是模型不行，是 两道坎：一是 Ollama 等推理工具的 num_ctx 默认值远小于标称，要手动放开；二是上下文 真开大后，KV cache 会随「上下文 × 并发」线性吃显存，很多人配硬件只算了权重。本文 附一个零依赖的 KV cache 换算脚本，帮你按最长上下文和峰值并发把显存账算清楚，并给出 KV 量化、选 GQA 架构等省显存的思路。
2026-08-17 10:36:17
298
原创 MiniMax-H3 与 LTX-2.5 怎么选？同一块桌面刀片上的八组本地部署实测
同一块 M114 桌面刀片、同一套提示词，把开源视频模型 MiniMax-H3 与 LTX-2.5 各跑 五到三十秒四档，八组全部本地跑通。本文摊开实测耗时（并说明为什么 480P 与 720P 的耗时不能直接比），再给出选型逻辑：H3 胜在语义理解与中文可控，LTX 胜在权重与 训练体系全开放、管线可深度改造。
2026-08-16 12:06:09
749
原创 【无标题】# 换更强的显卡，本地大模型 token/s 却没涨？解码速度卡在内存带宽，不是算力（附速算脚本）
本地跑大模型嫌慢就换更强的卡，token/s 却几乎没涨？因为单请求解码速度的天花板 是一个除法：内存带宽 ÷ 模型权重大小，算力（TFLOPS）不在里面。本文附一个零依赖 速算脚本：70B Q4 在旗舰卡上理论 24.8 token/s，换纯 CPU 只剩 2.2（差 11 倍）， 量化提速的本质是把分母改小。含带宽档 × 模型规模速查表与理论边界（只对单请求成立， 不含并发 / prefill / KV cache，实测打六到八折）。
2026-08-15 09:52:41
168
原创 4 个进程加载同一个模型，内存吃 4 份还是 1 份？实测 ps 的 RSS 高估了 3 倍（附脚本）
一台机器起 4 个进程加载同一个 1 GiB 模型，ps 显示每个进程 RSS 都是 1.2 GiB， 系统实际只多用了 565 MiB；只把文件从 safetensors 换成 .bin 再跑一遍，ps 输出 一模一样，系统却多用了 4662 MiB。本文用真机输出讲清 RSS 为什么不能跨进程加总、 PSS 怎么读、匿名页与文件页差在哪，并附零依赖只读审计脚本：本机 88 个真实进程 实测，ΣRSS 高估 5.15 倍。
2026-08-12 14:49:39
220
原创 HuggingFace 缓存清理：du 报 1.2G，官方只报 336M，差的 900M 在哪（附脚本）
清理一台工作机时发现：du 说 HuggingFace 缓存占了 1.2G，官方 hf cache ls 只报 336.2M，差的这 900M 既不在报表里、rm 也删不掉。本文用真机输出讲清 blobs/snapshots/refs 三层结构，拆掉两个容易漏的坑（残片提示走 stderr、 SI 与 1024 单位口径不同），并附零依赖审计脚本，把磁盘占用拆成在用、 旧版本、孤儿、未完成四笔账；另附 huggingface-cli 废弃后的 hf cache 命令速查。
2026-08-11 10:09:05
182
原创 为什么大模型集体涨价？因为 token 用量 2 年涨了 1000 倍（附速算工具）
DeepSeek 8 月 6 日拟整体上调 API 定价，但这一轮是集体涨价：Kimi 输出价已到 100 元每百万 token，智谱套餐最高涨超 260%。背后是全国日均 token 调用量两年 从约 1000 亿涨到 140 万亿，涨了 1000 倍。而你的账单大头往往不是单价，是任务 量——一次 Agent 任务等于上千次单轮对话。附零依赖速算工具 + 国产模型定价 速查表，算清你的账单贵在哪。（199/256）
2026-08-10 10:06:09
532
原创 DeepSeek 官宣要涨价：本地部署还划算吗？附成本速算脚本
DeepSeek 8 月 6 日官宣拟整体上调 API 定价，涨幅较大；高峰时段（工作日 9:00-12:00、14:00-18:00）计费已翻倍。同样日调用 2000 万 token、同样本地 月成本，白天调用为主本地每月省 404 元，深夜为主 API 反而省 142 元——「什么 时候用」比「用多少」更决定该不该本地。附零依赖成本速算脚本 + DeepSeek 峰谷价目速查表，代你自己的数算出临界日用量。
2026-08-09 10:00:00
495
原创 本地部署大模型：8 人同时用，速度会变成 1/8 吗？实测 3.35 倍
本地部署的大模型，8 个人同时用，速度会变成 1/8 吗？我在 2 台 DGX Spark 跑 DeepSeek V4 Flash 0731 上实测：8 并发总吞吐 284.80 tok/s，是 1 并发 84.89 的 3.35 倍。不是 1/8（不是分蛋糕），也不是 8 倍（带宽有上限）。 decode 是内存带宽 bound，加并发把闲置带宽用上了，所以整体反而更快； 过了拐点（≈带宽/单流=3.35）再加并发只摊薄单流。
2026-08-08 09:30:00
757
原创 DeepSeek V4 Flash 本地部署验收：拿到手先验这 5 个数（附脚本）
拿到一台声称「开箱即用」的 DeepSeek V4 Flash 0731 本地部署，怎么确认它 真的装好调通了？本文给 5 个数的验收清单：配置是否真生效、权重双节点是否 完整、KV 池分到多大、decode 基线多少、边界兼容过没过。每个数给了通过 标准（参考值来自我们自己机器上实测）、在哪查、不达标时怎么判断，文末附 一个零依赖验收脚本，本机真实运行并贴了三段输出。
2026-08-07 14:09:20
314
原创 DeepSeek V4 Flash 双机部署：2 台 DGX Spark，上下文一长吞吐只剩 9%
2 台 DGX Spark 用 vLLM TP=2 跑 DeepSeek V4 Flash 0731，公开配方给的单流是 82 tok/s。但那是短提示下的解码速度。同一台集群，prompt 从 256 涨到 131,072， decode 只从 75.4 掉到 65.2，端到端吞吐却从 69.1 掉到 5.9，首字延迟涨 125 倍。 本文拆开 prefill 与 decode 两笔账，并给一个能在你机器上跑的上下文预算脚本。
2026-08-06 11:34:20
913
原创 本地部署大模型启动慢：先测盘，别急着换显卡
同一台机器，早上起服务等好几分钟，下午再起只要几秒，很多人第一反应是显卡有问题。我用 O_DIRECT 绕开 page cache 量了一遍：冷读 109.30 MiB/s，热读 4.35 GiB/s，差 40.7 倍。又扫了一遍块大小排除测法问题，128KiB 到 16MiB 只差 1.2 倍，说明瓶颈是链路本身。有了这个数，加载时间就是一个除法，7B 到 671B 我做成了速查表；另外讲清楚默认的 mmap 为什么会让「加载完了」变成假象。附零依赖脚本，可在自己的盘上复现。
2026-08-05 10:47:42
338
原创 nproc 报 72 核，cgroup 只给 8 核：容器真实限额与被限次数怎么读
容器里 nproc 显示 72 核、free 显示 125 GiB，cgroup 实际只给了 8 核 16 GiB——这两个命令读的是宿主机。更少人知道的是内核为每类限额都备了触顶计数器：cpu.stat 记被掐停多少次，memory.events 记 OOM，pids.events 记 fork 被拒多少次。我这台机器 OOM 是 0，fork 被拒 2143 次，真凶就藏在那个没人打开的文件里。附零依赖自查脚本，不需要 root，v1/v2 都认。
2026-08-04 11:19:57
180
原创 跨机房组集群，网到底要多好？翻了四家官方文档，附链路实测脚本
两个机房的机器能不能组成一个集群？这件事不用凭经验争，各家官方文档里写着。etcd 把它写成公式：选举超时至少 10 倍 RTT，跨洲参考 RTT 400 毫秒，默认值不够用；Ceph 的门槛不在网速上，只允许恰好两个站点、不支持纠删码；Elasticsearch 干脆不让你跨；CockroachDB 支持，但把约束挪到了时钟同步。附零依赖脚本，量清你自己链路的 RTT 与 P99，直接算出参数该设多少。
2026-08-03 12:01:40
177
原创 同一张图、同一个编码器，压缩比从 1.66× 到 48.9×
同一张 1536×1024 的图存成五种格式，再用同一个编码器、同一个质量参数各压一遍，压缩比从 1.66× 到 48.90×，差 29 倍。但压完之后的体积全落在 94~101 KB。压缩比的分子是你原来存得多浪费，分母才是技术。本文用实测讲清这件事：无损压缩为何让文件涨 7 倍、同参数下静态与高运动视频差 13 倍、H.265 相比 H.264 实测省 23.9% 而非 50%。附零依赖脚本，量清你的数据还剩多少可压空间。
2026-08-02 10:17:49
345
原创 本地模型部署完就吃灰？真正省时间的是这三类
本地部署折腾两晚跑起来，打开对话框问几句觉得不如在线的，然后就再没打开过——问题不在模型不够好，在用法选错了。它的优势从来不是更聪明，是不计次、不出网、能嵌进流程。判断标准就一条：这件事你要做一次还是一千次。附零依赖并发批处理脚本，逐条落盘＋启动跳过已完成，跑到一半断电重跑同一条命令即可续上；没有 GPU 也能用内置假端点把全流程跑通。
2026-08-01 09:30:00
182
原创 本地跑大模型多快才算正常？一个除法算出 token/s 天花板（附速查表）
模型跑起来了、输出也对，就是慢——换更强的卡也没用，因为单请求解码卡住你的是内存带宽不是算力：每吐一个 token 都要把全部权重过一遍。理论上限 = 带宽 ÷ 权重大小，一个除法算完就知道该不该继续折腾。带宽自己就能推：位宽 × 等效频率 ÷ 8。附零依赖脚本 + 带宽档×模型规模速查表，另附一张比值判读表，帮你判断实测偏低到什么程度才值得查。文中 token/s 均为理论值非实测。
2026-07-31 10:24:48
1112
原创 本地部署大模型：输出夹乱码但日志全绿，这类故障怎么定位
本地部署有一类故障不崩溃、不报错、返回码是 0，唯独输出是坏的——通顺的英文句子里夹着一段乱码，扫一眼容易当成模型答得不好。这篇讲怎么定位：固定所有变量只动一个，把 offload 层数一路降到 0，纯 CPU 那档对了，问题就在加速器那条路径上。附一个零依赖脚本，按五类形态特征把可疑输出捞出来，不需要 GPU。
2026-07-30 15:12:39
380
原创 Kimi K3 GGUF 怎么选：Q8_0 反而比官方原版大 189%（附仓库检查脚本）
Kimi K3 权重放出不到 24 小时，HuggingFace 上冒出几十个 GGUF 仓库。我调公开 API 挨个查了真实字节数：某仓库 Q8_0 档位 2.69 TiB，是官方原版 1.42 TiB 的 189%——因为 K3 出厂就是 MXFP4 四比特 QAT，转 8-bit 只是换个更大的容器，精度一点没多。另有仓库只传了 15/96 分片却已被下载 187 次。附零依赖脚本，下载前三秒查清仓库分片缺不缺号、体积对不对得上。
2026-07-29 11:58:25
248
原创 Kimi K3 本地部署显存计算：2.8T 参数实际需要多少张卡
Kimi K3 本地部署要多少显存、几张卡？直接调 HuggingFace 公开 API 拿仓库真实字节数和 config.json 架构参数来算：96 个分片合计 1.42 TiB，官方权重本身就是 MXFP4 四比特（训练期 QAT，不是后量化），93 层里只有 24 层有 KV Cache，跑满 1M 上下文 KV 只要 27 GiB。附零依赖 Python 脚本，换个 --repo 就能算任意 HF 模型。
2026-07-28 10:05:54
631
原创 GGUF 量化类型详解：Q4_K_M、Q5_K_M、IQ4_XS 到底选哪个
Q4_K_M 和 Q5_K_M 到底选哪个？本文讲清 GGUF 量化文件名的三段结构（Q/IQ 族、位宽、k-quant、S/M/L 档），并用脚本直连 HuggingFace API 拉取每个量化版本的真实文件体积（非公式估算），配合 KV Cache 判断你的显存能塞下哪一档。附零依赖 Python 选型脚本和显存-模型速查表，以及四个常见坑：按文件大小挑版本、漏算 KV Cache、无脑选 IQ、分片文件没合并。
2026-07-27 10:13:40
897
原创 大模型显存需求计算：一个脚本算清权重 + KV Cache（附速查表，2026）
大模型显存不是"参数量×2"就完了。本文给出权重、KV Cache、总需求三个可背公式，附一个零依赖可直接运行的 Python 计算脚本（支持 GQA、量化、并发、估算卡数）和主流尺寸速查表，并讲清三个最容易翻车的坑：MoE 按总参算、KV Cache 可能比权重大 3 倍、GB 与 GiB 差 7%。
2026-07-26 10:24:50
454
原创 智谱把 GLM-5.2 开源了，还是 MIT 协议——想私有化部署它，算力账我先替你算一遍
智谱开源GLM-5.2(MIT协议/744B/1M上下文),商用友好。本文从私有化部署视角算清744B的显存门票(FP16≈1.49TB/INT8≈744GB/INT4≈372GB),讲透MoE按总参非激活参数算的坑、三条落地路径,以及量化精度、框架版本、1M上下文KV Cache三个隐藏坑。
2026-07-25 09:20:40
415
原创 统一寻址内存怎么合成 512GB？多节点集群跑 Qwen3 的显存账，一文算清
本地跑大模型，最先撞墙的常常不是算力，而是"显存/内存装不下"。本文讲清两件事：统一寻址内存怎么把多节点内存合成一个大池子，以及跑 Qwen3 时这笔"显存账"该怎么算——给出可套用的显存估算公式、Qwen3 各档 × FP16/INT4 换算表、KV Cache 账，并坦诚拆解 512GB 是"跨节点聚合"而非平坦显存的边界。显存公式为通用估算，真机吞吐以实测为准。
2026-07-24 09:54:39
360
原创 什么是“桌面级数据中心“？把企业级 AI 算力+存储做成咖啡机大小的私有化新品类
想用 AI 却"上不起云、也建不起机房"？桌面级数据中心把企业级 AI 算力+海量存储+数据安全+高速互联，压缩进一台咖啡机大小、插普通市电即用的设备，免机房、免改电网空调、免专业运维，数据还留在本地。本文用一张三方对比表 + 一句决策判断，讲清它是什么、为什么现在出现、什么团队该看。
2026-07-23 10:27:25
301
原创 没有 IB 网卡，纯 50GbE 以太网也能跑多机多卡 vLLM：DeepSeek/Qwen 部署踩坑 FAQ（报错速查+命令直接抄）
多机多卡跑大模型，80% 时间不是花在推理上，而是卡在网卡选错、NCCL 握不上手、显存算不清。本文按"报错串→根因→可复现命令"整理成速查 FAQ：Gloo/NCCL 网卡指定、shm 与 P2P、CUDA OOM 显存反向估算、TP/PP 并行怎么切，示例是纯 50GbE 以太网桌面集群（无 IB、免高端交换机）。命令属官方/社区通用做法，硬件数值引白皮书口径，真机吞吐以实测为准。
2026-07-22 10:18:00
354
原创 本地私有化 vs 公有云 API：大模型部署的 TCO 账到底怎么算？
企业级大模型落地第一道坎——买 API 还是自己部署？本文不给口水结论，给可执行方法：把 TCO 拆成"调用量拐点公式 + 报价单外的隐性成本冰山"，你代入自己的真实调用量，答案自己浮出来。含三条路线横向对比表、拐点计算四步法，以及厂商官方 TCO 口径（5年降私有云75%/公有云90%）。数值均标注官方出处，真机数据以实测为准。
2026-07-21 13:59:53
457
原创 病历不能出院,医院怎么用上AI——E1005-PRO + MedCopilot 科室级私有化部署实操与选型
病历是最敏感的个人数据,一步都不能出院,但临床离不开大模型。本文讲清医院"想用AI又不敢交数据"的死结与解法:用芯途异构 E1005-PRO(10PFLOPS算力/640GB显存/1.2PB存储/1Tbps免交换机)在院内跑32B-671B大模型,配 MedCopilot 按科室独立私有化部署——数据不出院、推理不上云、医生始终在决策环。含 Mermaid 架构图与 vLLM 可复现流程,结合2026医疗大模型规模化落地态势,规格均引官方白皮书。
2026-07-20 14:39:35
356
原创 E1001+4×DGXSpark 组桌面超算集群:免高端交换机本地部署 DeepSeek-R1 实操教程
用1台E1001+4台DGX Spark在桌面上组免高端交换机的大模型集群:4×1PFLOPS算力、512GB统一寻址内存,跑满血DeepSeek-R1,数据全程不出企业内网。含vLLM+Ray多机部署可复现实操与选型建议。
2026-07-19 13:13:19
543
原创 V2408+8×RTX Pro 6000D 本地私有化部署 GLM-5.2(744B/1M 上下文)实操与选型
744B 的 GLM-5.2 如何本地私有化落地?本文讲清用芯途异构 V2408 + 8×RTX Pro 6000D(672GB 聚合显存 / 3104 TOPS)承载 744B 权重与 1M 长上下文的算力账、标准 vLLM 部署流程与选型要点;数据全程本地闭环,三年综合成本据官方方案降约 78%。文中规格与成本数值均引用厂商官方方案文档。
2026-07-18 14:26:41
509
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人