Text Generation WebUI在AMD MI100显卡上的内存访问故障分析与解决

Text Generation WebUI在AMD MI100显卡上的内存访问故障分析与解决

【免费下载链接】text-generation-webui A Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models. 项目地址: https://gitcode.com/GitHub_Trending/te/text-generation-webui

问题背景

在使用Text Generation WebUI项目加载语言模型时，部分AMD MI100显卡用户遇到了"Memory access fault"内存访问错误。该问题表现为无法将任何规模的模型加载至显卡显存中，即使尝试加载仅1B参数的小型模型也会失败。当模型仅运行在CPU模式下时则工作正常。

错误现象分析

从错误日志中可以观察到几个关键点：

1. 系统尝试加载flash-attention模块失败，提示"ModuleNotFoundError: No module named 'flash_attn'"
2. 随后出现核心错误信息："Memory access fault by GPU node-1 (Agent handle: 0xc4f2d80) on address (nil). Reason: Page not present or system privilege"
3. 用户尝试了多种ROCM版本(5.6/5.7/6.12)和Text Generation WebUI版本(1.12-1.15)组合均未能解决问题

环境配置

故障环境配置如下：

• 操作系统：Ubuntu 22.04 LTS
• 硬件配置：3块AMD Radeon Instinct MI100显卡，AMD Epyc 9334处理器
• 软件栈：ROCM 6.1.2，Text Generation WebUI V1.15

可能原因分析

1. 驱动与运行时兼容性问题：AMD MI100显卡对ROCM不同版本的兼容性可能存在差异
2. 显存管理异常：错误信息表明GPU节点无法正确访问内存页
3. 依赖组件冲突：flash-attention模块加载失败可能导致后续显存分配异常
4. 系统环境污染：多次安装不同版本可能导致环境变量或库文件冲突

解决方案

经过多次尝试，最终确认以下解决方案有效：

1. 完全清除现有环境：彻底卸载ROCM驱动和Text Generation WebUI及其所有依赖
2. 全新安装基础环境：从干净的Ubuntu系统开始，按顺序安装：
   • 官方推荐的ROCM版本
   • Python环境
   • Text Generation WebUI及其依赖
3. 避免混合版本：确保所有组件版本相互兼容

经验总结

对于AMD显卡用户，特别是使用专业级显卡如MI100系列时，建议：

1. 优先参考AMD官方文档确认ROCM版本与显卡型号的兼容性
2. 安装过程保持环境干净，避免多版本混杂
3. 遇到类似内存访问错误时，考虑从系统层面彻底重装而非局部修复
4. 对于生产环境，建议使用容器化技术隔离不同项目的运行环境

此案例表明，在复杂AI工作负载环境下，系统环境的纯净度和组件版本匹配度对稳定性至关重要。

【免费下载链接】text-generation-webui A Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models. 项目地址: https://gitcode.com/GitHub_Trending/te/text-generation-webui