- 博客(211)
- 收藏
- 关注
RSS订阅原创 从零到一构建推理栈，ROCm 七点零全套工具链安装清单
本文详解从零构建 AMD GPU 推理栈的全流程，涵盖 ROCm 7.0 驱动安装、PyTorch 源码编译及 vLLM 部署调优。通过精准配置架构代号与显存参数，解决常见报错，助开发者在 Linux 环境下打造高效稳定的 AI 推理环境，充分发挥硬件性能。
2026-07-03 12:24:00
27
原创 端侧 AI 新玩法，Strix Halo 架构下的大模型本地运行体验
本文深度解析 AMD Strix Halo 架构如何突破端侧 AI 瓶颈。凭借统一内存与大带宽优势，该架构支持本地运行 70B 大模型，结合量化技术与 Ollama 等工具，实现高效离线推理与轻量微调，为开发者打造高性能便携的私有化 AI 新体验。
2026-07-03 12:21:30
46
原创 Triton 编译器在 ROCm 下的应用，自定义 Kernel 开发的桥梁
本文详解 Triton 编译器在 ROCm 7.x 生态下的应用突破，展示其如何成为自定义 Kernel 开发的高效桥梁。通过实战案例与版本匹配指南，帮助开发者利用类 Python 语法在 AMD GPU 上实现高性能算子优化，大幅降低底层开发门槛。
2026-07-03 12:19:00
23
原创 生产环境监控方案，Prometheus 加 Grafana 监控 AMD 显卡状态
本文详解生产环境下基于 Prometheus 加 Grafana 的 AMD 显卡监控方案。针对大模型推理场景，通过部署 DCGM Exporter 采集关键指标，构建可视化仪表盘并设置智能告警，有效预防显存溢出与过热故障，保障 vLLM 服务在 AMD GPU 集群中的稳定运行。
2026-07-03 12:16:00
27
原创 MI300X 对比 H100，AI 推理硬件成本与内存带宽的真实账本
本文深度对比 MI300X 与 H100，聚焦大模型推理中的显存容量与带宽成本。针对 Llama 3.1 405B 等超大模型，分析显示 MI300X 凭借 192GB 大显存优势，显著降低硬件部署门槛与单位带宽成本，为预算敏感团队提供高性价比的 AI 推理硬件选型方案。
2026-07-03 12:13:00
48
原创 本地 API 快速搭建，Ollama 在 Linux 桌面端的部署与调用
本文详解在 Linux 桌面端利用 Ollama 快速搭建本地大模型 API 服务。通过配置 ROCm 驱动与环境变量，开发者可轻松调用 AMD GPU 资源，实现 Llama3 等模型的分钟级部署与调试，是原型验证的高效方案。
2026-07-03 12:10:00
34
原创 推理延迟太高，如何用 rocprof 分析 AMD 显卡上的内核执行
本文详解如何利用 rocprof 工具分析 AMD 显卡上的内核执行，精准定位大模型推理延迟高的根源。通过追踪数据搬运、长尾算子及显存带宽问题，指导开发者优化 Batch Size 与自适应策略，显著提升 AI 推理性能与效率。
2026-07-03 12:07:30
15
原创 DevCloud 环境搭建笔记，Ubuntu 下安装 ROCm 驱动的避坑要点
本文详解在 DevCloud 的 Ubuntu 环境下搭建 AMD GPU 开发环境的实战流程。涵盖用户组权限配置、编译器版本匹配及 Conda 虚拟环境构建，重点解析 ROCm 驱动安装与验证要点，帮助开发者规避常见陷阱，快速跑通大模型推理栈。
2026-07-03 12:04:30
20
原创 从 Github 找靠谱项目，判断 ROCm 库是否可用的三个硬指标
本文详解在 Github 筛选靠谱 ROCm 项目的三个硬指标：Commit 活跃度、Issue 闭环率及依赖匹配度。帮助开发者避开“僵尸库”，快速识别支持 MI300 与 ROCm 7.x 的优质项目如 vLLM，确保 AMD GPU 环境稳定高效运行。
2026-07-03 12:02:00
20
原创 多卡并行怎么配，vLLM 在八路 AMD 服务器上的张量并行设置
本文详解 vLLM 在八路 AMD 服务器上的多卡并行配置。通过优化张量并行、RCCL 通信及 CPU 绑核策略，解决 MI300X 环境下的性能瓶颈。实战指南助您实现大模型推理的高效线性扩展，大幅提升吞吐量与稳定性。
2026-07-03 11:59:30
25
原创 显存不够怎么办，FP8 量化在 AMD Instinct GPU 上的实践效果
本文详解 FP8 量化在 AMD Instinct MI300X GPU 上的实践，解决大模型显存瓶颈。通过 vLLM 部署 Llama 3.1 405B 模型，实现显存减半与吞吐量提升，为低成本运行超大参数模型提供高效解决方案。
2026-07-03 11:57:00
21
原创 TileLang 入门，用新语言编写 AMD 显卡高性能算子的尝试
本文深入解析 TileLang 在 AMD ROCm 生态中的应用，展示其如何通过面向块的抽象简化高性能算子开发。相比传统 HIP C++，TileLang 显著降低 MI300 系列显卡的 Kernel 编写门槛，提升代码效率与维护性，是进阶开发者优化 AI 基础设施的理想选择。
2026-07-03 11:54:00
102
原创 解决 vLLM 在 ROCm 下的编译报错，非法指令问题排查实录
本文详解 vLLM 在 ROCm 环境下编译报错及非法指令问题的排查方案。针对 AMD GPU 架构不匹配痛点，提供设置 PYTORCH_ROCM_ARCH、清理缓存及依赖版本适配等实战步骤，助开发者快速解决部署难题，实现大模型高效运行。
2026-07-03 11:51:30
135
原创 Ryzen AI 笔记本跑本地大模型，LM Studio 图形化操作教程
本文详解如何在 Ryzen AI 笔记本上利用 LM Studio 图形化界面部署本地大模型。通过 GGUF 量化技术与 Radeon GPU 加速配置，用户可轻松实现端侧智能推理，在保障数据隐私的同时享受流畅的 AI 对话体验。
2026-07-03 11:49:00
184
原创 SGLang 对比 vLLM，AMD 环境下推理框架的选型与性能测试
本文深度对比 AMD MI300X 环境下 SGLang 与 vLLM 推理框架性能。针对高并发短文本场景推荐 vLLM，而在长上下文及复杂交互中，SGLang 凭借 RadixAttention 算法展现显著优势。文章提供实测数据与选型建议，助力开发者优化大模型部署策略。
2026-07-03 11:46:30
313
原创 HIPify 工具链上手，把 CUDA 代码迁移到 AMD 平台的具体步骤
本文详解利用 HIPify 工具链将 CUDA 代码迁移至 AMD ROCm 平台的实战步骤。涵盖自动化转换技巧、常见编译错误修补及 ROCm 7.x 新特性，助开发者低成本实现跨平台部署，充分发挥 AMD Instinct GPU 性能潜力。
2026-07-03 11:44:00
314
原创 大模型微调不用愁，LLaMA-Factory 在 AMD 显卡上的落地指南
本文详解 LLaMA-Factory 在 AMD 显卡上的大模型微调落地指南。针对 MI300X 硬件，通过配置 bf16 精度与 ZeRO-3 优化策略，有效解决 70B 模型显存瓶颈。结合 ROCm 生态实战经验，助开发者低成本高效完成私有化大模型训练。
2026-07-03 11:41:30
266
原创 Instinct MI300X 部署 vLLM 实战，从源码编译到显存优化
本文详解 AMD Instinct MI300X 部署 vLLM 实战，涵盖从源码编译 PyTorch 到显存优化的全流程。通过精准配置架构参数与调优显存利用率，解决 OOM 难题，助力开发者在 ROCm 生态下构建高效稳定的大模型推理服务。
2026-07-03 11:38:30
350
原创 拒绝僵尸库，ROCm 七点零生态下值得安装的五个开源项目
本文聚焦 ROCm 7.0 生态，精选 vLLM、SGLang、LLaMA-Factory 等五个高价值开源项目，助开发者避开僵尸库陷阱。文章详解大模型推理与微调在 AMD GPU 上的实战配置，提供高效稳定的选型指南，大幅提升 AI 应用部署效率。
2026-07-03 11:35:30
387
原创 AMD 显卡跑大模型，Ollama 加 ROCm 七点零的极简配置法
本文详解 AMD 显卡跑大模型的极简配置法，基于 Ollama 与 ROCm 7.0 实现 Llama 3 快速部署。通过驱动识别、环境变量设置及实战案例，解决显存调用难题，助开发者低成本构建高效本地 AI 推理环境。
2026-07-03 11:32:30
471
原创 社区贡献者故事，参与 ROCm 生态建设的几个切入点
本文详解开发者如何低门槛参与 ROCm 生态建设。从文档翻译、修复简单 Bug 到测试新版本兼容性，提供实战路径与沟通技巧。无论新手还是资深用户，都能通过贡献代码或反馈问题，助力 AMD GPU 软件栈繁荣，共同推动开源社区发展。
2026-07-02 18:21:00
19
原创 从 H100 到 MI300X，AI 推理硬件成本与性能深度对比
本文深度对比 H100 与 MI300X 在 AI 推理中的成本与性能。针对大模型落地，分析显存瓶颈与每美元算力，指出 MI300X 凭借大显存优势显著降低硬件数量与总拥有成本。结合 ROCm 生态成熟度，为超大模型推理提供高性价比的硬件选型建议。
2026-07-02 18:18:00
60
原创 消费级显卡跑大模型，Radeon RX 系列兼容性测试报告
本文详解消费级 Radeon RX 系列显卡运行大模型的兼容性测试。涵盖 ROCm 驱动安装、Ollama 与 LM Studio 实战表现，对比独显与核显性能差异，并提供避坑指南。助您低成本搭建本地 AI 环境，释放 AMD 显卡算力潜能。
2026-07-02 18:15:30
99
原创 生产环境监控方案，Prometheus 加 Grafana 可视化显卡状态
本文详解基于 Prometheus 和 Grafana 构建 AMD GPU 生产环境监控方案。通过部署 DCGM Exporter 采集 ROCm 生态指标，实现显存、温度可视化及智能告警，有效预防大模型推理服务崩溃，保障业务连续性。
2026-07-02 18:12:30
27
原创 推理延迟诊断指南，利用 rocprof 追踪 GPU 内核执行
本文详解利用 rocprof 工具诊断 AMD GPU 推理延迟的实战指南。通过捕获内核执行轨迹，精准定位耗时算子与 H2D 数据拷贝瓶颈，结合自适应批处理策略优化性能，帮助开发者解决响应慢难题，大幅提升推理服务效率。
2026-07-02 18:09:30
21
原创 本地 API 服务搭建，用 Ollama 快速发布大模型接口
本文详解如何利用 Ollama 快速搭建本地大模型 API 服务。涵盖极简安装、ROCm 加速配置及局域网暴露技巧，并提供 Python 客户端实战代码。帮助开发者屏蔽复杂环境依赖，一键实现 Llama3 等模型的本地推理与接口发布，高效构建 AI 应用原型。
2026-07-02 18:06:30
54
原创 Triton 编译器在 ROCm 的应用，连接框架与硬件的桥梁
本文深入解析 Triton 编译器在 ROCm 7.x 环境下的应用，展示其如何替代手写 HIP 代码，成为连接 PyTorch 框架与 AMD GPU 硬件的高效桥梁。通过矩阵乘法实战案例，演示如何利用 Triton 提升大模型算子开发效率，实现底层优化与快速迭代。
2026-07-02 18:04:00
28
原创 显存碎片化治理，调整 block size 提升推理稳定性
本文深入解析 vLLM 在 AMD GPU 环境下因显存碎片化导致的 OOM 问题。通过调整 block-size 参数匹配业务序列特征，结合显存利用率优化与监控策略，有效治理显存碎片，大幅提升大模型推理服务的稳定性与资源效率。
2026-07-02 18:01:00
18
原创 PyTorch 源码编译避坑，解决 AMD 平台常见的链接错误
本文详解 AMD 平台 PyTorch 源码编译避坑指南，针对 MI300 等新架构解决链接错误与算子缺失问题。通过配置关键环境变量、清理构建缓存及优化编译器工具链，帮助开发者成功部署高性能 ROCm 环境，避免非法指令报错，大幅提升大模型运行效率。
2026-07-02 17:58:30
15
原创 FP8 量化实战，让大模型在更少显存中跑得更快
本文详解 FP8 量化实战，助大模型在更少显存中跑得更快。基于 ROCm 7.x 与 vLLM 框架，演示如何在 AMD GPU 上部署 Llama 3 等模型，实现显存减半与推理加速。适用于资源受限场景，平衡精度与性能，是解决 CUDA out of memory 的高效方案。
2026-07-02 17:55:30
27
原创 多卡并行推理配置，利用 RCCL 实现线性加速比
本文详解 AMD ROCm 环境下多卡并行推理配置，重点利用 RCCL 库实现线性加速比。涵盖驱动验证、张量并行实战及 CPU 绑核优化，助开发者解决通信瓶颈，大幅提升大模型吞吐量与集群效率。
2026-07-02 17:53:00
33
原创 TileLang 编程入门，自定义高性能张量算子的新途径
本文详解 TileLang 编程入门，作为自定义高性能张量算子的新途径。文章对比 HIP C++，展示其如何简化 AMD GPU 开发流程，并指导在 ROCm 7.x 环境中配置及集成 PyTorch。通过高级抽象降低门槛，助力开发者快速实现极致性能优化。
2026-07-02 17:50:30
94
原创 DevCloud 云端开发环境搭建，远程调试 AMD GPU 应用
本文详解在 DevCloud 云端搭建 AMD GPU 开发环境，涵盖 ROCm 7.x 配置、SSH 隧道远程调试及 PyTorch 与 vLLM 源码编译实战。通过自动化脚本与大模型推理部署指南，助开发者高效利用 MI300X 算力，掌握高性能 AI 应用构建核心技能。
2026-07-02 17:47:30
117
原创 SGLang 推理框架初探，处理长上下文场景的新选择
本文初探 SGLang 推理框架，聚焦其 RadixAttention 算法在长上下文场景的优势。通过 AMD GPU 部署实战与代码验证，展示其在多轮对话中高效复用 KV Cache、降低显存占用的能力，为复杂逻辑处理提供新选择。
2026-07-02 17:44:30
130
原创 LLaMA-Factory 微调大模型，AMD 显卡上的低成本训练方案
本文详解在 AMD 显卡上利用 LLaMA-Factory 进行大模型微调的低成本方案。涵盖 ROCm 7.x 环境配置、BF16 精度优化及 DeepSpeed ZeRO-3 策略，助开发者高效完成大模型训练，突破显存限制，实现高性能 AI 部署。
2026-07-02 17:42:00
285
原创 HIPify 工具链上手，把 CUDA 代码迁移到 AMD 平台的第一步
本文详解 HIPify 工具链，重点演示如何利用 hipify-clang 将 CUDA 代码高效迁移至 AMD ROCm 平台。通过矩阵乘法实战，解析自动转换流程、常见算子适配难点及编译验证技巧，助力开发者快速掌握 GPU 跨平台移植核心技能。
2026-07-02 17:39:00
290
原创 Ryzen AI 笔记本本地跑大模型，LM Studio 图形化操作指南
本文详解如何在 Ryzen AI 笔记本上利用 LM Studio 图形化界面本地运行大语言模型。通过选用 GGUF 量化格式与开启 ROCm 后端，开发者可轻松实现零代码部署，在保障数据隐私的同时，享受高效的写作辅助与代码生成体验。
2026-07-02 17:36:00
277
原创 Instinct 显卡部署 vLLM 实战，从源码编译到显存优化
本文详解 AMD Instinct 显卡部署 vLLM 实战指南，涵盖从源码编译到显存优化的全流程。重点解析 ROCm 环境配置、PagedAttention 机制及 FP8 量化技术，助开发者解决指令集匹配难题，构建高并发大模型推理服务。
2026-07-02 17:33:00
303
原创 拒绝僵尸库，Github 上值得关注的 ROCm 七点零开源项目清单
本文针对 AMD ROCm 7.x 生态，提出筛选高质量开源项目的三大硬指标，有效规避“僵尸库”风险。深度解析 vLLM、SGLang、LLaMA-Factory 及 Ollama 在 MI300 等显卡上的实战表现与配置技巧，助力开发者构建稳定高效的 AI 推理与微调软件栈。
2026-07-02 17:30:30
378
原创 AMD 显卡跑大模型，Ollama 加 ROCm 七点零环境配置实录
本文详解在 Ubuntu 上配置 ROCm 7.0 环境，助力 AMD 显卡高效运行大模型。涵盖驱动安装、用户组权限设置及 Ollama 识别 GPU 的关键步骤，解决常见部署难题，让开发者轻松实现本地 AI 推理加速。
2026-07-02 17:28:00
370
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人