- 博客(25)
- 收藏
- 关注
原创 GPU、NPU、TPU有什么区别?
芯片类型 | 全称 | 设计目标 | 典型场景 | 功耗 | |---------|------|---------|---------|------| | GPU | 图形处理器 | 通用并行计算 | AI训练、游戏、科学计算 | 中-高 | | TPU | 张量处理器 | 专用AI计算 | AI推理(数据中心) | 中 | | NPU | 神经网络处理器 | 端侧AI计算 | 手机、IoT设备 | 极低 |正因为是专用芯片,TPU在做AI推理的时候,效率和能效比都比GPU更高。
2026-06-05 21:23:30
335
原创 2026 AI算力全栈拆解:撑起现代AI的6大核心处理器
关键趋势是大模型的训练算力需求仍在指数增长,单芯片性能提升的速度开始遭遇功耗与散热的双重物理瓶颈。当所有人都在谈论H100、Blackwell、RTX Spark时,一个核心真相往往被忽视:一套完整的AI系统,从用户请求接入、模型训练、推理响应到数据中心全链路运维,从来都不是靠单一GPU跑通的。对于AI基础设施的规划者、建设者与运维者而言,建立全栈视角,理解每个处理器的角色与瓶颈,才是真正驾驭AI算力的开始。未来的算力人才之争,不在于谁拥有更多的GPU,而在于谁能更聪明地整合全栈资源。
2026-06-04 21:09:59
335
原创 AMD Instinct MI325X/MI350X路线图深度解析:288GB HBM3e如何硬刚英伟达?
FP16算力 | 1.3 PFLOPS | ~1.5 PFLOPS | 1.0 PFLOPS | 1.3倍。内存容量 | 192GB HBM3 | 288GB HBM3e | 141GB HBM3e | 2倍。参数 | MI300X | MI325X | 英伟达H200 | MI325X vs H200。内存带宽 | 5.3TB/s | 6.0TB/s | 4.8TB/s | 1.25倍。
2026-06-03 21:22:59
775
原创 液冷散热技术深度解析:从风冷到浸没式液冷
本文从散热效率、技术原理、成本分析、典型应用场景等维度,深度解析冷板式、浸没式、喷淋式三种液冷技术,并结合NVIDIA H100/B200参考设计,量化液冷在PUE优化、能效提升方面的实际收益,为数据中心液冷改造提供技术方案参考。冷板式液冷属于间接液冷。浸没式液冷属于直接液冷。**关键升级**:B200的液冷冷板集成了**HBM3e显存散热**,而H100仅冷却GPU核心,显存仍依赖风冷辅助。**结论**:2 MW级AI集群,液冷改造年节省电费**560万元**,减少碳排放约**5600吨CO₂/年**。
2026-06-02 21:37:15
3245
原创 H100 GPU显存故障怎么办?一文读懂HBM修复与专业维修方案
更可怕的是——有些已经完成的计算结果,数据悄悄损坏了,而没人及时发现。H100采用的是HBM3(High Bandwidth Memory 3),通过TSV(硅穿孔)技术垂直堆叠显存颗粒,再通过位于GPU正下方的硅中介层(Silicon Interposer)与GPU芯片互联。**重要提示**:Double Bit ECC错误出现后,GPU仍然可以"带病运行",但计算结果的正确性已经无法保证。找对专业维修商,几天之内你的算力就能恢复。于是,"GPU显存维修"从一个小众需求,变成了AI基础设施运维的刚需。
2026-06-01 21:14:55
687
原创 AI训练集群网络拥塞排查实战:InfiniBand与RoCE的故障定位方法论
RoCEv2网络拥塞排查的核心是PFC(Priority Flow Control)和ECN(Explicit Congestion Notification)配置验证。如果网络出现拥塞,通信延迟可能从微秒级膨胀至毫秒级,训练吞吐量下降30%-50%,而工程师往往误以为是GPU性能问题。ibstat:查看HCA端口状态(LinkUp/Down)、速率(200Gbps/NDR)、物理错误计数。perfquery:查询端口计数器,监控XmitData(发送数据量)和RcvData(接收数据量)的对称性。
2026-05-29 22:08:29
257
原创 H100/H200 GPU维修之显存故障全链路排查:从HBM3颗粒定位到NVLink拓扑异常
更换冷板后故障消失。诊断NVLink拓扑的第一步是运行nvidia-smi topo -m查看当前服务器的NVLink连接拓扑图,确认每张GPU的NVLink连接数和拓扑是否符合预期(VR200 NVL72机柜中,每块GPU应与同一叶交换机下的其他GPU全互联)。H100的每个HBM3通道在GPU板卡(PCB)上都有独立的信号线束和电源管理电路。H100 GPU配备80GB HBM3显存,由8个独立的HBM3堆叠组成,每个堆叠通过1024位宽的接口连接到GPU die,峰值带宽达3.35TB/s。
2026-05-28 20:53:46
300
原创 首批国产AI芯片I级认证实战指南:昇腾/平头哥/壁仞/海光认证要点与选型建议
维核智算可为企业提供一站式芯片集群运维服务。基于各芯片的技术特性和认证定位,以下选型建议覆盖主流AI应用场景:政府/央企云端训练首选昇腾910(I级认证+华为生态)、互联网云厂商训练首选真武M890(I级认证+阿里云生态)、从英伟达迁移的过渡期首选海光DCU-3G(CUDA兼容)、边缘推理首选真武M530或壁砺166(低功耗+高能效)。迁移实施层面,企业需重点关注三个环节:模型转换(使用各厂商提供的模型转换工具)、性能调优(针对新芯片的算子级优化)、运维体系建设(建立国产芯片的监控和告警体系)。
2026-05-27 21:17:12
868
原创 英伟达Vera CPU正式交付:单核性能提升50%,Anthropic和OpenAI已率先部署
78层PCB意味着超过70层的叠层设计、精确的阻抗控制和复杂的高速信号完整性仿真,工艺难度呈指数级上升。制造环节(PCB厂商)因AI服务器PCB定制化程度高、客户粘性强,议价能力较强,是当前投资的首选环节;这解释了为何深南电路、沪电股份等具备高端封装基板经验的厂商,能在AI服务器PCB赛道快速突围——他们过去在半导体封装基板领域积累的工艺能力可以直接迁移。维核智算在GPU服务器维修中,已建立针对高端AI服务器PCB的全参数检测和故障诊断能力,能够快速定位和修复因PCB工艺问题导致的服务器不稳定故障。
2026-05-26 21:56:02
247
原创 6万卡集群如何调度:国家超算互联网架构深度解析
问题一:算力归一化。问题二:亲和性调度。昇腾集群内部采用HCCS高速互联,跨节点通过RoCEv2 RDMA通信,带宽差异达10倍,算法会对同集群任务做亲和性加权。用户通过SDK提交训练任务,调度系统自动匹配最优算力节点,支持断点续传、失败重试等容错机制。- 监控告警:Prometheus + Grafana定制仪表盘,覆盖GPU利用率、温度、功耗、通信带宽四大维度,阈值触发后15秒内告警。郑州节点实测数据:千亿参数模型在6万卡集群上训练,月均非计划中断次数<2次,平均恢复时间<3分钟,可用性达99.5%。
2026-05-22 18:57:06
399
原创 Vera Rubin 3nm制程深度解析:GPU制造工艺从4nm到3nm的技术跃迁
制程成本 +15-20% 基准 +15-20%参数 3nm(N3E) 4nm(N4) 提升。功耗(同性能) -25% 基准 -25%性能(同功耗) +15% 基准 +15%2. 功耗约束:数据中心供电有限,3nm降低25%功耗;
2026-05-21 15:47:23
72
原创 Vera Rubin GPU技术规格深度拆解:Feynman之前的最强GPU有多强?
HBM容量 288GB (HBM4) 279GB (HBM3e) +3%维核智算正在布局Rubin平台的维修能力,预计2026年底具备服务能力。位宽: 2048-bit vs 1024-bit。NVFP4 = 4-bit浮点(2的4次方=16个值)主要用于推理,可实现与FP16相似的精度,但算力翻倍。单堆容量: 36GB vs 24GB。• 3nm制程(vs Rubin 4nm)2. HBM4的16层堆叠,维修风险更高;
2026-05-20 18:55:57
267
原创 英特尔Crescent Island推理GPU PCB曝光:Xe3P架构+LPDDR5X,风冷服务器的推理新物种
5月20日,爆料人YuuKi_AnS发布了英特尔数据中心AI推理GPU"Crescent Island"的PCB图片。LPDDR5X的带宽(约1.2TB/s)足以支撑70B以下模型的INT8推理。LPDDR5X而非HBM的选择,意味着Crescent Island定位中低端推理市场,成本敏感但带宽需求适中。维核智算将持续关注英特尔GPU的维修技术储备,为多元化GPU市场做准备。• LPDDR5X:带宽适中,封装成熟,功耗更低,适合大规模部署。• HBM3e:带宽高,但封装成本极高,需CoWoS等先进封装;
2026-05-20 18:36:24
323
原创 国产AI芯片五强深度对比:昇腾/寒武纪/海光/摩尔线程/沐曦,谁才是H200的最佳替代?
沐曦C500 自研G PyTorch/自研 110% 65% 88%摩尔S5000 MUSA PyTorch/MUSA 95% 68% 85%寒武纪: Q1营收28.85亿(同比+160%),扣非净利9.34亿。沐曦: Q1营收5.62亿(同比+75%),亏损环比收窄76%
2026-05-19 21:32:26
3340
原创 英伟达H200获批出口:技术分析与GPU维修行业机遇
issues.append(f"ECC错误: {gpu['ecc_errors']}")issues.append(f"温度过高: {gpu['temp']}°C")维核智算-专注H100/H200/B200/B300全系列英伟达GPU芯片级维修。本文从技术角度分析H200芯片特性,并探讨对GPU维修行业的影响。本文从技术角度分析H200芯片特性,并探讨对GPU维修行业的影响。"""GPU健康监控脚本 - 适用于H100/H200""""""检查GPU健康状态""""""获取GPU状态"""
2026-05-15 18:10:40
435
原创 大模型私有化部署成本核算:H100 vs 昇腾910B vs 寒武纪全对比
以Qwen2-14B/DeepSeek-V2-Lite-Chat(约14B参数)为例:H100需要4卡(约100-120万),昇腾910B需要8卡(约64-80万),寒武纪思元590需要8-12卡(约24-60万)。以DeepSeek-V3-Lite(约70B激活参数)为例:H100需要16-32卡(约400-960万),昇腾910B需要32-64卡(约256-640万),寒武纪方案需要更多卡但总成本仍具优势。其中硬件采购占首次投入的60%-70%,但运维维修成本在3-5年的生命周期中将超过硬件采购成本。
2026-05-14 18:48:24
429
原创 NVLink故障诊断排查:多卡集群训练必看
查看拓扑 nvidia-smi topo -m # 查看NVLink状态 nvidia-smi nvlink --status -i 0 # 查看NVLink错误 nvidia-smi nvlink -s -i 0。• 症状:带宽只有一半(300-400GB/s)• 症状:nvidia-smi显示CRC错误。• 解决:更换GPU或NVSwitch。• 原因:某个NVLink通道损坏。• 解决:检查连接器、更新固件。• 原因:驱动崩溃、固件问题。• 原因:信号完整性问题。• 解决:重启、刷固件。
2026-05-13 23:50:39
349
原创 AI训练集群网络优化:InfiniBand vs RoCE vs 以太网
指标 | InfiniBand NDR | RoCEv2 200G | 以太网 100G || 以太网 100G | $40K | $50K | $10K | $100K || 带宽 | 400Gbps | 200Gbps | 100Gbps || 方案 | 网卡成本 | 交换机成本 | 线缆成本 | 总成本 || GPU Direct | 支持 | 支持 | 不支持 || 延迟 | 0.5μs | 3μs | 20μs || RDMA | 原生支持 | 支持 | 不支持 |
2026-05-12 20:36:03
407
原创 AI基础设施大重构:从云端到端侧的算力革命
AMD Ryzen AI 300系列和Intel Core Ultra 200系列,将NPU(神经网络处理单元)引入PC,使笔记本电脑能够本地运行AI Agent,无需持续联网。作为GPU服务器维修和大模型私有化部署的专业服务商,维核智算在服务客户的过程中发现:企业AI基础设施的痛点,往往不在"算力不够",而在"算力用不好"。AI基础设施的大重构,既是技术挑战,也是战略机遇。为此,我们提供从GPU服务器选型、部署、运维到优化的全栈服务,帮助企业建立真正高效、稳定、低成本的AI生产能力。
2026-05-11 17:06:44
86
原创 GPU训练崩溃排查手册:OOM报错、掉卡、Xid故障,一文说清
print(f"最大显存: {torch.cuda.get_device_properties(0).total_memory/1024**3:.2f} GB")print(f"当前显存占用: {torch.cuda.memory_allocated()/1024**3:.2f} GB")print(f"缓存占用: {torch.cuda.memory_reserved()/1024**3:.2f} GB")│ ├─ 有"Xid" → Xid报错 → 查nvidia-smi -q -d ERROR。
2026-05-09 20:05:39
511
原创 Grok技术架构深度解析:xAI的AI系统到底是怎么工作的?
xAI转型算力运营商后,Grok的模型迭代是否会减速?这些问题的答案,将决定Grok在未来AI格局中的位置。Grok作为xAI的主打产品,其技术架构一直是业界关注的焦点。max_position_embeddings=131072 # Grok-3的上下文长度。| TTFT(首token延迟) | < 500ms | > 2000ms || TPOT(每输出token时间) | < 20ms | > 100ms |1. X平台数据:Grok最重要的差异化数据源,实时获取X平台上的对话和讨论。
2026-05-08 17:46:37
451
原创 GPU集群运维实战:从零搭建AI推理服务的完整技术指南
计算节点1: 8×H100] ──100Gbps IB── [InfiniBand Switch]── [计算节点2: 8×H100]最近帮一家AI创业公司搭建了GPU推理集群,从4×H100扩展到16×H100,踩了不少坑,也总结了一些经验。GPU:8×H100 SXM5 80GB(NVLink互联)备选:用RoCEv2(25Gbps×4 = 100Gbps)推荐用InfiniBand HDR(100Gbps)└── [计算节点3: 8×H100]└── [计算节点4: 8×H100]
2026-05-07 18:11:26
371
原创 NVIDIA首席执行官表示,人工智能铸造厂和数字工厂将改变人类
他解释了人工智能之旅是如何从2012年AlexNet的突破开始的,当时人工智能和CUDA首次相交,导致2016年DGX-1的问世,这是人工智能超级计算的基石。在一个引人入胜的启示中,黄介绍了“Blackwell”,这是GPU技术的一个巨大飞跃,象征着NVIDIA对卓越计算的不懈追求。黄表示,这一转变预示着“人工智能工厂”的诞生,这是一个专门的数据中心,不仅为无数用户服务,而且特别专注于产生人工智能驱动的产出。过去的工业革命与今天的生成性人工智能的类比强调了一种平行的转型,人工智能工厂被视为创新的新动力。
2024-03-28 13:56:58
470
原创 英伟达黄仁勋宣布推出新的人工智能芯片:“我们需要更大的GPU”
英伟达表示,基于Blackwell的处理器,如GB200,为人工智能公司提供了巨大的性能升级,人工智能性能为20 petaflops,而H100为4 petaflops。英伟达没有为新的GB200或它使用的系统提供成本。“如果你是一名开发人员,你有一个有趣的模型,你希望人们采用,如果你把它放在NIM中,我们将确保它可以在我们所有的GPU上运行,这样你就可以接触到很多人,”Das说。Das表示,英伟达的新软件将使在英伟达的任何GPU上运行程序变得更加容易,即使是可能更适合部署但不适合构建AI的旧GPU。
2024-03-20 17:39:09
1009
原创 即使是竞争对手提供的免费AI芯片,也无法击败英伟达的GPU
近日,英伟达首席执行官黄仁勋(Jensen Huang)在采访中表示,英伟达的GPU “太好了,即使竞争对手的芯片是免费的,也不够便宜”。回到斯坦福大学的采访中,黄仁勋概述了英伟达目前无懈可击的独特卖点。当然,公司会很清楚总拥有成本(TCO),这基本上意味着英伟达声称的好处,如部署时间、性能、利用率和灵活性,“非常好,即使竞争对手的芯片是免费的,它也不够便宜,”黄仁勋说。黄仁勋还试图提供一种对比,这可能与那些关注GPU价格的人有悖常理:买卖芯片的人考虑的是芯片的价格,而运营数据中心的人考虑的是运营成本。
2024-03-19 16:05:38
427
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅