- 博客(62)
- 收藏
- 关注
RSS订阅原创 vLLM 在 AMD 显卡上的部署避坑指南，拒绝非法指令错误
本文详解 vLLM 在 AMD 显卡上的部署避坑指南，重点解决非法指令错误与显存碎片化问题。通过精准配置 PYTORCH_ROCM_ARCH 参数及优化 block-size，确保 MI300X 等硬件在大模型推理中的高效稳定运行，助力开发者规避生产环境风险。
2026-06-29 11:34:00
571
原创 HIPify 转换失败怎么办，手动修补 CUDA 代码的实战技巧
本文详解 HIPify 转换失败后的手动修补 CUDA 代码实战技巧。针对内联汇编方言障碍与模板特化陷阱，提供从 PTX 到 AMD 架构的重写策略及线程配置优化方案。通过构建自动化验证闭环，助力开发者高效完成深度学习项目迁移，释放 AMD GPU 极致性能。
2026-06-29 11:33:49
33
原创 SGLang 对比 vLLM，AMD 生态下谁更适合你的业务场景
本文深度对比 AMD 生态下 SGLang 与 vLLM 推理框架。针对 MI300X 显卡，从算子覆盖、长上下文及显存管理维度分析，指出 vLLM 适合高并发短对话，而 SGLang 凭借 RadixAttention 在长文档场景中更具优势，助您精准选型。
2026-06-29 11:33:38
448
原创 用 LLaMA-Factory 微调 70B 大模型，单卡显存不够怎么破
本文详解如何利用 LLaMA-Factory 在单卡上微调 70B 大模型。通过 DeepSpeed ZeRO-3 与 CPU Offload 技术，将参数卸载至内存，有效突破显存瓶颈。文章提供实战配置与监控数据，助开发者低成本实现大模型训练。
2026-06-29 11:33:23
361
原创 TileLang 入门教程，手把手教你写出高性能 AMD 算子
本文提供 TileLang 入门教程，手把手教你写出高性能 AMD 算子。从环境配置到向量加法、矩阵乘法及注意力机制实战，详解如何利用 Python 抽象简化 HIP 开发，优化显存访问与线程调度，助力开发者快速掌握 GPU 算子优化技术。
2026-06-29 11:33:13
327
原创 Github 上那些值得关注的 ROCm 开源项目，别再只盯着官方
本文盘点 Github 上值得关注的 ROCm 开源项目，涵盖 HIPify 代码迁移、SGLang 与 TileLang 推理加速及 LLaMA-Factory 微调实践。助开发者摆脱 CUDA 依赖，高效利用 AMD GPU 构建大模型应用，共建开源生态。
2026-06-29 11:32:59
32
原创 ROCm 7.x 新特性实测，AI 推理性能到底提升了多少
本文实测 ROCm 7.x 在 AMD MI300X 上的 AI 推理性能。数据显示，相比 6.x 版本，新驱动使模型启动加速 32%，vLLM 吞吐量提升超 30%，P99 延迟显著降低。通过优化 FlashAttention 算子与显存管理，ROCm 7.x 大幅释放硬件潜力，是开发者提升大模型推理效率的关键升级。
2026-06-29 11:32:26
507
原创 把 PyTorch 模型迁移到 AMD 显卡，只需改这几行代码
本文详解如何将 PyTorch 模型低成本迁移至 AMD 显卡。通过优化设备映射与混合精度配置，仅需修改几行代码即可适配 ROCm 环境。结合 HIPify 工具解决算子兼容难题，助开发者快速利用 AMD GPU 算力，实现高效的大模型训练与推理部署。
2026-06-29 11:31:58
287
原创 Ollama 配合 ROCm 搭建本地 API 服务，私有化部署不求人
本文详解如何在 AMD 显卡上利用 ROCm 驱动与 Ollama 搭建本地 API 服务。通过配置环境变量、启动私有化部署及设置内网防火墙，实现大模型的安全调用。该方案零成本构建可控的本地大模型环境，适用于智能客服等场景。
2026-06-29 11:31:41
278
原创 深入理解 HIP 编译器，为什么我的算子跑得比别人慢
本文深入解析 HIP 编译器在 AMD GPU 上的性能瓶颈，揭示指令调度与内存访问模式对算子速度的关键影响。通过分析 Bank Conflict 成因及 LDS 优化策略，结合 TileLang 实战案例，帮助开发者从 CUDA 思维转型，显著提升 MI300X 等硬件上的算子执行效率。
2026-06-29 11:31:16
419
原创 LLaMA-Factory 插件开发指南，扩展你的微调能力
本文详解 LLaMA-Factory 插件开发指南，助您通过自定义数据集加载器与评估指标扩展微调能力。无需修改核心源码，即可灵活适配独特数据格式与业务场景，大幅提升大模型训练效率，是开发者掌握高效微调的关键实践。
2026-06-29 11:31:00
34
原创 AMD 显卡跑大模型省钱攻略，云厂商实例选型建议
本文详解 AMD 显卡跑大模型的省钱攻略，针对云厂商实例选型提供专业建议。通过 ROCm 生态与 SGLang 等工具链，实现降本增效。文章涵盖从初创到生产环境的部署策略，助企业利用 AMD 方案大幅降低算力成本，优化基础设施架构。
2026-06-29 11:29:46
150
原创 从 CUDA 到 HIP 的思维转变，适应 AMD 开发的新习惯
本文详解从 CUDA 迁移至 AMD ROCm 的思维转变。借助 HIPify 工具实现代码自动化转换，深入理解 Wavefront 架构以优化 SGLang 与 TileLang 算子性能，并参与 LLaMA-Factory 开源共建。助开发者快速适应 AMD 生态，掌握大模型微调与底层优化核心技巧。
2026-06-29 11:29:33
134
原创 LM Studio 图形化界面调用 AMD 显卡，小白也能玩转大模型
本文详解 LM Studio 图形化界面调用 AMD 显卡的实战指南。通过开启 ROCm 后端、优选 GGUF 量化模型及调优参数，助小白轻松本地运行大语言模型。告别复杂配置，让 A 卡用户也能高效体验 AI 创作与隐私保护。
2026-06-29 11:29:17
287
原创 本地电脑装 Ollama 连上 AMD 显卡，离线跑大模型真简单
本文详解如何在本地电脑利用 Ollama 连接 AMD 显卡，通过配置关键环境变量 OLLAMA_HIP_VISIBLE_DEVICES 开启 ROCm 硬件加速。文章涵盖驱动安装、量化模型加载及性能对比，助开发者低成本实现大模型离线推理，大幅提升运行效率。
2026-06-29 11:27:37
392
原创 从零开始在 Github 给 ROCm 社区提第一个 PR
本文分享在 AMD GPU 上从零开始为 ROCm 社区提交首个 PR 的实战经历。作者通过 rocprof 定位 SGLang 在 MI300X 上的显存异常，与 maintainer 协作修复 Kernel 分块策略，成功提升推理性能。文章旨在鼓励开发者积极参与开源共建，打破技术门槛。
2026-06-29 11:27:24
294
原创 TileLang 编写自定义算子，让 AMD GPU 算力不再浪费
本文详解如何利用 TileLang 编写自定义算子，充分释放 AMD GPU 算力。通过从 CUDA 思维转型、环境搭建到矩阵乘法优化的实战案例，展示针对 Wavefront 架构的分块策略与共享内存管理技巧，帮助开发者解决大模型推理效率瓶颈，实现高性能计算。
2026-06-29 11:27:07
336
原创 我在 MI300X 上跑通 SGLang 推理，这几个参数调优很关键
本文详解在 AMD MI300X 上部署 SGLang 推理的实战技巧。通过 HIPify 工具实现 CUDA 代码迁移，重点解析 gfx942 架构指定与显存参数调优策略。结合 RadixAttention 机制实测，展示长上下文场景下的性能飞跃，助力开发者构建高效稳定的 AI 推理服务。
2026-06-29 11:26:42
330
原创 LLaMA-Factory 微调大模型，AMD 显卡也能满血跑 DeepSpeed
本文详解如何利用 LLaMA-Factory 在 AMD 显卡上高效微调大模型。通过配置 BF16 精度与 DeepSpeed ZeRO-3 策略，结合 RCCL 通信优化，充分释放 AMD Instinct 系列算力。该方案不仅实现满血训练性能，更大幅降低硬件成本，为算法团队提供高性价比的 AI 落地路径。
2026-06-29 11:25:56
365
原创 别手敲代码了，HIPify 一键把 CUDA 转成 AMD 能跑的 HIP
本文分享利用 HIPify 工具将 CUDA 代码一键迁移至 AMD GPU 的实战经验。通过 hipify-clang 自动转换 API，结合人工修正 Thrust 库兼容性问题，成功在 ROCm 环境运行大模型推理项目，验证了跨平台开发的高效与可行。
2026-06-29 11:23:53
237
原创 Ollama 脚本自动化，让锐龙 AI 成为私人助理
本文介绍利用 Ollama 脚本自动化，结合 AMD 锐龙 AI 的 NPU 低功耗优势，打造 24 小时私人助理。通过 Shell 脚本实现定时资讯摘要与文件夹智能分类，在保障隐私的同时提升效率，是端侧 AI 的实用实践。
2026-06-24 10:19:20
59
原创 Strix Halo 性能释放，本地大模型推理极限测试
本文深度测试 AMD Strix Halo 平台在本地大模型推理中的持续性能表现。通过 72 小时极限烤机，验证其在高温高负载下的稳定性与调度策略。结果显示，虽峰值性能略有衰减，但 Strix Halo 凭借统一内存架构与异构计算，提供了稳定可靠的算力基线，是移动端 AI 开发的理想选择。
2026-06-24 10:18:58
112
原创 从零开始，用 LM Studio 在 AMD 电脑上搭建知识库
本文详解如何在 AMD 电脑上利用 LM Studio 搭建本地知识库。通过开启 GPU Offload 加速推理，结合 RAG 技术实现文档私有化检索。全程离线运行保障数据安全，让用户轻松拥有高效、私密的个人 AI 助手，充分释放 Radeon 显卡的 AI 算力。
2026-06-24 10:18:38
695
原创 锐龙 AI 能效比实测，Ollama 挂机一整晚耗电多少
本文实测锐龙 AI 笔记本在纯电池模式下运行 Ollama 的能效表现。结果显示，借助 NPU 加速，挂机一整晚耗电仅约 28%，且低温静音。文章验证了本地大模型在移动办公中的低功耗优势，为出差党提供隐私安全与长续航的 AI 应用新方案。
2026-06-24 10:18:12
461
原创 不用买独显，锐龙 AI 集成显卡也能跑大模型
本文揭示锐龙 AI 轻薄本无需独显即可运行大模型。通过 Ollama 工具与量化技术，利用 NPU 和集显高效推理 Llama3、Qwen2.5 等模型。适合日常办公与文本创作，打破硬件门槛，提供安静低功耗的本地 AI 体验。
2026-06-24 10:17:06
758
原创 Strix Halo 遇上 LM Studio，大模型本地运行新体验
本文深度解析 AMD Strix Halo 平台凭借统一内存架构突破本地大模型运行瓶颈。结合 LM Studio 零门槛部署，实现在轻薄设备上流畅运行 Qwen-32B 等大参数模型，带来低延迟、高隐私的端侧 AI 新体验。
2026-06-24 10:16:50
72
原创 小白也能懂，Ollama 配合锐龙 AI 的日常用法
本文详解 Ollama 配合锐龙 AI 的日常用法，展示晨间新闻摘要、外文翻译及创意写作等场景。借助 NPU 加速，实现本地大模型高效运行，保障数据隐私且互不干扰，让端侧 AI 真正融入工作流，提升用户体验。
2026-06-24 10:16:23
34
原创 LM Studio 插件推荐，扩展 AMD 本地大模型玩法
本文深度解析 LM Studio 插件在 AMD 本地大模型场景的应用。通过配置语音交互、联网搜索及代码渲染插件，充分释放锐龙 AI NPU 算力，打造隐私安全、功能强大的离线智能助手，显著提升本地 AI 生产力体验。
2026-06-24 10:16:03
766
原创 Strix Halo 多任务处理，边玩游戏边跑大模型
本文实测 AMD Strix Halo 平台在游戏与大模型并行场景下的表现。通过 NPU 异构计算与统一内存架构，实现边玩 3A 大作边本地推理 Llama-3 模型，帧率稳定且响应流畅，为端侧 AI 应用提供全新解决方案。
2026-06-24 10:15:20
307
原创 Ollama 模型量化详解，锐龙 AI 用户如何选择版本
本文详解 Ollama 模型量化技术，专为 AMD 锐龙 AI 用户提供选型指南。针对 16GB 与 32GB 内存场景，分析 Q4、Q8 等版本差异，助您在有限资源下平衡速度与精度，解决本地大模型运行卡顿问题，释放端侧 AI 潜能。
2026-06-24 10:15:06
340
原创 LM Studio 界面定制，打造专属的 AMD AI 工作台
本文详解 LM Studio 界面定制技巧，助您打造专属 AMD AI 工作台。通过调整主题色调、重构快捷键及预设提示词模板，充分利用 Ryzen AI 算力，优化本地大模型交互体验，让工具完美适配个人工作流，显著提升开发效率。
2026-06-24 10:15:01
401
原创 锐龙 AI 驱动更新日志，Ollama 兼容性最新进展
本文深度解析锐龙 AI 驱动更新对 Ollama 兼容性的突破。通过优化 NPU 调度策略，显著提升了 Llama 3、Qwen 等本地大模型的推理速度与稳定性。文章提供实测数据及避坑指南，助开发者高效部署端侧 AI 应用。
2026-06-24 10:14:30
127
原创 Strix Halo 首发体验，50TOPS 算力改变工作方式
本文深度体验 AMD Strix Halo 平台，验证其 50 TOPS NPU 算力如何将工作流从云端迁移至本地。通过实时会议翻译、本地代码辅助及素材生成等实战场景，展示其在离线可用、数据隐私保护及降低推理成本方面的巨大优势，标志着开发者本地 AI 黄金时代的到来。
2026-06-24 10:14:12
104
原创 Ollama 与 LM Studio 对比，AMD 用户该选哪一个
本文深度对比 Ollama 与 LM Studio，专为 AMD 用户解析 Ryzen AI 平台下的大模型部署方案。文章从硬件适配、资源占用及操作体验维度，指导开发者与办公族根据需求选择命令行利器或可视化工具，助您高效利用本地算力。
2026-06-24 10:13:52
252
原创 LM Studio 调优指南，让 Radeon 显卡火力全开
本文详解 LM Studio 调优指南，助您释放 Radeon 显卡算力。通过切换 Vulkan 后端、优化线程数及选择 Q4_K_M 量化模型，解决 AMD 平台运行大模型卡顿问题，显著提升本地推理速度与效率。
2026-06-24 10:13:32
869
原创 拒绝云端泄露，用 Ollama 在锐龙本上私有化部署
本文详解如何利用 Ollama 在搭载锐龙 AI 的笔记本上实现大模型私有化部署。通过本地离线运行，有效避免云端数据泄露风险，确保商业机密安全。文章提供从环境配置到安全设置的完整指南，助力用户在保障数据隐私的前提下，高效利用本地算力处理敏感任务。
2026-06-24 10:13:12
209
原创 Strix Halo 平台实测，50TOPS 算力到底多快
本文实测 AMD Strix Halo 平台，揭示 50 TOPS NPU 在本地大模型推理中的真实表现。对比 CPU、GPU 与 NPU 运行 Qwen2.5 模型的数据发现，Radeon GPU 仍是文本生成主力，NPU 目前更擅长低功耗后台任务，为端侧 AI 选型提供理性参考。
2026-06-24 10:12:50
425
原创 LM Studio 图形化实战，AMD 显卡跑图不卡顿
本文详解如何利用 LM Studio 图形化工具，在 AMD 显卡上流畅运行 Llama 3 大模型。通过量化模型选择、GPU 加速配置及显存监控，解决命令行门槛与卡顿问题，实现高效、隐私安全的本地长文档总结与 AI 交互体验。
2026-06-24 10:12:24
275
原创 Ollama 加锐龙 AI，本地跑大模型其实很简单
本文详解如何利用 Ollama 与 AMD 锐龙 AI 处理器，在本地轻松部署大语言模型。通过 NPU 加速实现高效推理，不仅保障数据隐私安全，更让普通用户在断网环境下也能享受流畅的 AI 体验，大幅降低端侧 AI 使用门槛。
2026-06-24 10:11:59
442
原创 AMD Instinct GPU 大模型训练与推理实战指南
在深度学习工程落地的过程中，硬件选型与环境配置往往是第一道门槛。随着 AMD Instinct 系列加速卡在算力性价比上的优势逐渐凸显，越来越多的开发团队开始尝试从传统的 CUDA 生态迁移至 ROCm 开放软件平台。然而，面对全新的驱动架构、复杂的依赖关系以及特定的编译要求，许多开发者在初期搭建阶段便遭遇了诸如版本不匹配、库文件缺失或显存管理异常等棘手问题。这些问题若不能得到系统性解决，后续的大模型训练与推理服务将无从谈起。
2026-06-24 10:11:16
330
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人