AMD KFD技术分析7-2：event机制-内核实现

原创已于 2025-12-11 20:44:16 修改 · 791 阅读

29 ·

CC 4.0 BY-SA版权

文章标签：

#linux #驱动开发 #gpu设计 #人工智能 #amd #KFD # KGD

于 2025-08-05 16:49:06 首次发布

深探ROCm 专栏收录该内容

21 篇文章

订阅专栏

KFD（Kernel Fusion Driver）中的 event 机制是 ROCm/HSA 用户空间与内核、GPU 之间进行异步事件通知和同步的核心基础。它为用户进程提供了高效、灵活的事件等待、信号、异常和调试等能力。

1. KFD Event 的设计目标和用法

异步通知：支持用户空间等待 GPU 或内核事件（如信号、异常、调试等）。
高效同步：允许进程高效地等待事件发生，支持超时、自动复位等特性。
多类型支持：支持信号事件、硬件异常、内存异常、调试事件等多种类型。
安全隔离：每个进程拥有独立的事件空间，防止跨进程干扰。

典型调用流程如下：

用户空间通过 ioctl 创建事件，驱动分配 event_id 和 slot。
用户空间提交任务，GPU 执行后写 slot 信号事件。
用户空间通过轮询 slot 或 ioctl 阻塞等待事件完成。
事件完成后，驱动唤醒等待队列，用户空间获知事件完成。
事件销毁时，驱动回收资源，唤醒所有 waiter。

2. 内核核心数据结构

2.1 struct kfd_event

struct kfd_event {
    u32 event_id;                // 事件唯一ID
    u64 event_age;               // 事件“代数”，每signal一次，就增加1
    bool signaled;               // 是否已被信号
    bool auto_reset;             // 是否自动复位
    int type;                    // 事件类型
    spinlock_t lock;             // 事件自旋锁
    wait_queue_head_t wq;        // 等待队列
  
    union {
        struct kfd_hsa_memory_exception_data memory_exception_data;
        struct kfd_hsa_hw_exception_data hw_exception_data;
    };
    struct rcu_head rcu;         // RCU 异步释放
};

event_id：唯一标识，信号事件和非信号事件分配不同区间。
event_age：用于事件去重和同步，防止误判。
signaled/auto_reset：事件状态与自动复位属性。
wq：Linux 等待队列，支持进程/线程阻塞等待事件。
memory_exception_data/hw_exception_data：异常事件的附加数据。
type：事件类型。当前定义了如下的事件类型。其中用户态最常用的是SIGNAL类型。

#define KFD_EVENT_TYPE_SIGNAL 0
#define KFD_EVENT_TYPE_HW_EXCEPTION 3
#define KFD_EVENT_TYPE_DEBUG 5
#define KFD_EVENT_TYPE_MEMORY 8

2.2 struct kfd_event_waiter

struct kfd_event_waiter {
    wait_queue_entry_t wait;
    struct kfd_event *event;
    bool activated;
    bool event_age_enabled;
};

用于实现多事件等待和唤醒。

2.3 struct kfd_signal_page

struct kfd_signal_page {
    //内核空间分配的信号页（signal page）的首地址
	uint64_t *kernel_address;

    //仅当内核申请的才释放
	bool need_to_free_pages;
};

/*create signal_page for the given kfd_process*/
static struct kfd_signal_page *allocate_signal_page(
                                struct kfd_process *p)
{
	void *backing_store;
	struct kfd_signal_page *page;

	page = kzalloc(sizeof(*page), GFP_KERNEL);
	if (!page)
		return NULL;

	backing_store = (void *) __get_free_pages(GFP_KERNEL,
					get_order(KFD_SIGNAL_EVENT_LIMIT * 8));
	if (!backing_store)
		goto fail_alloc_signal_store;

	/* Initialize all events to unsignaled */
	memset(backing_store, (uint8_t) UNSIGNALED_EVENT_SLOT,
	       KFD_SIGNAL_EVENT_LIMIT * 8);

	page->kernel_address = backing_store;
	page->need_to_free_pages = true;

	return page;

fail_alloc_signal_store:
	kfree(page);
	return NULL;
}

用于信号事件的内核/用户空间共享页，事件信号状态通过 slot 反映。该结构体实现了内核与用户空间对同一块物理内存的高效共享和管理。
allocate_signal_page内部使用__get_free_pages申请连续的物理页作为signal page使用。这是内核分配函数，但KFD都是user mode 去创建的，所以该函数不会被调用。

3. 事件的创建与管理

libhsakmt下发AMDKFD_IOC_CREATE_EVENT ioctl，内核的响应函数如下：

static int kfd_ioctl_create_event(struct file *filp, struct kfd_process *p,
					void *data)
{
	struct kfd_ioctl_create_event_args *args = data;
	int err;
    
    //第一次下发create event的请求时，event_page_offset非0,其他时候都是0 
    //ugly codes!!!
	if (args->event_page_offset) {
		mutex_lock(&p->mutex);
		err = kfd_kmap_event_page(p, args->event_page_offset);
		mutex_unlock(&p->mutex);
		if (err)
			return err;
	}

	err = kfd_event_create(filp, p, args->event_type,
				args->auto_reset != 0, args->node_id,
				&args->event_id, &args->event_trigger_data,
				&args->event_page_offset,
				&args->event_slot_index);

	return err;
}

3.1 信号页（signal page）映射

每个kfd_process分配一页（或多页）内存，作为信号事件的 slot 区域。
每个信号事件对应 signal page 的一个 slot（64bit），使用event id作为slot索引值，slot 值为 UNSIGNALED_EVENT_SLOT 表示未信号。

kfd_kmap_event_page函数将用户态申请的signal page bo映射到cpu的内核虚拟地址上去，可以让内核访问该bo。该bo是GPU/CPU交互的关键，GPU在做完queue中的packet时就会写该queue关联的event，就是这个bo的event_slot_index位置。然后GPU发中断，在KFD的中断处理中，就会检查该位置是否是UNSIGNALED_EVENT_SLOT(非UNSIGNALED_EVENT_SLOT表明GPU写入了数据），然后set event。如果用户态调用了wait_on_event，就会被唤醒执行。