AMD KFD的BO设计分析系列3-3: PA-drm_mm在bo mmap中的应用

原创已于 2025-11-13 22:05:11 修改 · 980 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#linux #mmap #amdgpu #drm_mm #drm

于 2025-09-21 10:01:13 首次发布

AMD KFD BO实现分析专栏收录该内容

35 篇文章

订阅专栏

1. 前言

书接上文AMD KFD的BO设计分析系列3-2: Linux drm_mm在amdgpu bo创建过程中的应用，

amdgpu_bo 结构体代表一个 GPU 可用的缓冲区对象，包含了缓冲区的大小、类型、状态、引用计数等元数据。其内部通常包含一个指向 drm_mm_node 的指针成员（如 struct drm_mm_node *node），用于记录该缓冲区在物理地址空间（如 VRAM、GTT）中的分配区间。

drm_mm_node 结构体则详细描述了该区间的起始地址、长度、对齐方式等信息。通过这种设计，驱动可以方便地追踪每个 BO 在物理地址空间中的位置，为后续的映射、DMA、页表操作提供基础数据。

本篇重点分析drm_mm_node在bo映射过程中的实现。

2. 内存映射（mmap）场景下的实现

2.1 mmap 的需求

用户空间程序（如图形应用、OpenCL/CUDA 程序）往往需要直接访问 GPU 显存或 GTT 区域，以实现高效的数据传输和共享。为此，驱动需要将物理内存区间映射到用户空间的虚拟地址区间。

2.2 关键流程

当用户空间调用 mmap 系统调用请求映射某个 BO 时，驱动会定位到对应的 amdgpu_bo 对象。
通过 amdgpu_bo 的 drm_mm_node 成员，驱动可以直接获取该 BO 在物理地址空间中的起始页帧号（pfn）和长度。
驱动在 mmap 回调中，调用 io_remap_pfn_range 或类似函数，将物理页帧区间映射到用户空间的虚拟地址区间。

2.3 代码示意

static int amdgpu_mmap(struct file *filp, struct vm_area_struct *vma)
{
    struct amdgpu_bo *bo = ...; // 查找对应的 BO
    struct drm_mm_node *node = bo->node;
    unsigned long pfn = node->start >> PAGE_SHIFT;
    unsigned long size = node->size;

    return io_remap_pfn_range(vma, vma->vm_start, pfn, size, vma->vm_page_prot);
}

通过 drm_mm_node，驱动无需遍历全局分配表即可直接定位物理区间，极大提升了映射效率。
保证了用户空间访问的物理内存区间与 GPU 实际分配一致，避免了安全和一致性问题。

3. DMA 操作场景下的实现

3.1 DMA 的需求

GPU 与系统内存、外设之间的数据传输通常依赖 DMA（Direct Memory Access）机制。DMA 操作要求驱动能够准确提供物理地址区间，供硬件直接访问。

3.2 关键流程

当需要发起 DMA 传输时，驱动首先定位到目标 BO。
通过 amdgpu_bo 的 drm_mm_node 成员，获取物理地址区间（如 VRAM 的物理基址和长度）。
将这些物理地址信息传递给 DMA 控制器或 GPU 硬件，配置 DMA 传输参数。

3.3 代码示意

dma_addr_t dma_addr = bo->node->start; // 获取物理起始地址
size_t dma_len = bo->node->size;       // 获取长度

// 配置 DMA 传输
setup_dma_transfer(dma_addr, dma_len, ...);

通过 drm_mm_node，驱动可以直接提供连续的物理地址区间，简化了 DMA 配置流程。
保证了 DMA 操作的物理区间与 BO 分配一致，避免了数据越界和冲突。

4. 页表建立场景下的实现

4.1 页表的需求

GPU 访问显存或 GTT 时，通常需要通过页表进行地址转换。驱动需要为每个 BO 建立相应的页表项，将虚拟地址映射到物理地址。

4.2 关键流程

驱动在分配 BO 后，需要为其建立页表项。
通过 amdgpu_bo 的 drm_mm_node 成员，获取物理起始地址和长度。
遍历 BO 的每一页，建立虚拟地址到物理地址的映射关系，写入页表。

4.3 代码示意

unsigned long phys_addr = bo->node->start;
size_t num_pages = bo->node->size >> PAGE_SHIFT;

for (i = 0; i < num_pages; ++i) {
    set_page_table_entry(bo->vaddr + i * PAGE_SIZE, phys_addr + i * PAGE_SIZE);
}