【论文阅读】Self-Paced Curriculum Learning

自定进度课程学习：融合先验知识与动态学习策略

原创

已于 2024-01-04 12:17:21 修改 · 1.9k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#论文阅读

于 2023-12-30 01:13:18 首次发布

本文探讨了自定进度学习（SPL）和课程学习（CL）的差异，提出了一种新的学习框架——自定进度课程学习（SPCL），它结合了训练前的先验知识和训练过程中的学习进度，旨在实现师生协作式的高效学习。通过实例和算法描述，文章展示了SPCL在避免过度拟合和整合额外知识方面的优势。

论文下载
 代码
 Supplementary Materials
bib:

@INPROCEEDINGS{
   
   ,
	 title		= {
   
   Self-Paced Curriculum Learning},
	 author	    = {
   
   Lu Jiang and Deyu Meng and Qian Zhao and Shiguang Shan and Alexander Hauptmann},
	 booktitle	= {
   
   AAAI},
	 year		= {
   
   2015},
	 pages      = {
   
   2694--2700}
}

1. 摘要

Curriculum learning (CL) or self-paced learning (SPL) represents a recently proposed learning regime inspired by the learning process of humans and animals that gradually proceeds from easy to more complex samples in training.

The two methods share a similar conceptual learning paradigm, but differ in specific learning schemes.

In CL, the curriculum is predetermined by prior knowledge, and remain ﬁxed thereafter.

Therefore, this type of method heavily relies on the quality of prior knowledge while ignoring feedback about the learner.

In SPL, the curriculum is dynamically determined to adjust to the learning pace of the leaner.

However, SPL is unable to deal with prior knowledge, rendering it prone to overﬁtting.

In this paper, we discover the missing link between CL and SPL, and propose a uniﬁed framework named self-paced curriculum leaning (SPCL).

SPCL is formulated as a concise optimization problem that takes into account both prior knowledge known before training and the learning progress during training.

In comparison to human education, SPCL is analogous to “instructor-student-collaborative” learning mode, as opposed to “instructor-driven” in CL or “student-driven” in SPL.

Empirically, we show that the advantage of SPCL on two tasks.

课程学习（CL）或自定进度学习（SPL）代表了最近提出的一种学习制度，其灵感来自人类和动物的学习过程，在训练中逐渐从简单到更复杂的样本进行。这两种方法具有相似的概念学习范式，但具体的学习方案有所不同。在 CL 中，课程是由先验知识预先确定的，并且此后保持固定。因此，这种方法严重依赖先验知识的质量，而忽略了学习者的反馈。在 SPL 中，课程是动态确定的，以适应学习者的学习节奏。然而，SPL 无法处理先验知识，因此容易出现过度拟合。在本文中，我们发现了 CL 和 SPL 之间缺失的联系，并提出了一个名为自定进度课程学习（SPCL）的统一框架。 SPCL 被表述为一个简洁的优化问题，它考虑了训练前已知的先验知识和训练期间的学习进度。与人类教育相比，SPCL类似于“师生协作”的学习模式，而不是CL中的“教师驱动”或SPL中的“学生驱动”。根据经验，我们展示了 SPCL 在两项任务上的优势。

Note：

课程学习依赖于课程先验，在许多场景中，课程先验一般都是缺失的。这种方法严重依赖于先验知识的质量，而忽略了学习者的反馈，相当于是老师主导。
自步学习中课程是动态确定的，以适应学习者节奏。其中，动态确定只是按照loss的高低当作是样本的难易，无法处理额外加入的知识先验。

2. 算法描述

2.1. 自步学习

$\min_{\mathbf{w}, \mathbf{v} \in[0, 1]^n}\mathbb{E}(\mathbf{w}, \mathbf{v};\lambda) = \sum_{i=1}^n{v_iL(y_i, f(\mathbf{x}_i,\mathbf{w}))} - \lambda\|\mathbf{v}\|_1 \tag{1}$