54、机器学习中的累积学习、维度灾难与数据准备

机器学习中的累积学习、维度灾难与数据准备

1. 累积学习

1.1 累积学习的关键概念

累积学习（Cumulative Learning，CL）系统有多种特性，以下是一些关键概念：
- 任务意识 ：系统识别新任务开始和结束的能力。
- 偏差调制 ：CL 系统可确定短期学习从归纳迁移中获益的程度，并据此分配相关权重。分析深度可变，需考虑估计样本复杂度、样本数量、保留知识的泛化准确性以及保留知识的相关性等因素。
- 学习效能 ：通过比较有归纳偏差和无归纳偏差时的泛化性能来衡量。若应用归纳偏差能使主要任务的泛化性能优于无偏差时，则学习有效。
- 学习效率 ：比较有归纳偏差和无归纳偏差时生成假设所需的计算时间。有偏差时计算时间更短，表明学习效率更高。

1.2 累积学习系统维度分类

类别	维度	值（ML3 指导用 {X} 表示）
架构	学习范式	监督学习、强化学习、无监督学习、{X} 混合
	任务顺序	顺序、并行、{X} 重访（练习）、混合