小样本学习多次登上Nature！这么好的创新点还不赶快来看看吗？

小样本学习（Few-Shot Learning, FSL）是一种机器学习框架，旨在利用极少量的标注样本（通常是1到10个）来训练模型，使其能够对新任务或新类别进行准确预测。今天分享的就是关于小样本的论文解读。

我还整理出了相关的论文+开源代码，以下是精选部分论文

更多论文料可以关注：AI科技探寻，发送：111  领取更多[论文+开源码】   

论文1

标题：

OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING

将优化作为少样本学习的模型

方法：

• LSTM 基础的元学习器：提出了一种基于 LSTM 的元学习器模型，用于学习训练另一个学习器神经网络分类器在少样本学习场景下的优化算法。

• 参数更新学习：模型通过学习适当的参数更新，专门针对有限更新次数的场景，并学习一个通用的初始化网络，以便快速收敛。

• 任务描述：采用 k-shot, N-class 分类任务，每个数据集包含 k 个标记示例，用于训练和测试。

创新点：

• 元学习器优化：通过 LSTM 学习优化算法，使得分类器能够在有限的更新次数内快速收敛，显著提升了少样本学习任务的性能。

• 性能提升：在 Mini-ImageNet 数据集上，5-shot 分类任务的准确率达到了 60.60%，相比基线方法（如最近邻方法 41.08% 和微调方法 49.79%）有显著提升。

• 通用初始化：学习了一个通用的初始化网络，使得在少样本学习任务中，分类器能够从一个优化的起点开始训练，避免了随机初始化带来的收敛问题。

• 计算效率：通过参数共享和预处理，减少了元学习器的参数数量，提高了训练效率。

论文2

标题：

Prototypical Networks for Few-shot Learning

用于小样本学习的原型网络

方法：

• 原型网络：提出了一种基于原型的网络，通过学习一个嵌入空间，在该空间中通过计算与每个类别的原型表示的距离来进行分类。

• 嵌入函数：使用神经网络学习一个非线性映射，将输入映射到一个嵌入空间，每个类别的原型是其支持集在嵌入空间中的均值。

• 距离函数：通过选择合适的距离函数（如欧几里得距离）来优化分类性能。

创新点：

• 简单归纳偏差：在少样本学习中，采用简单的归纳偏差，通过类原型的均值表示，显著减少了过拟合的问题。

• 性能提升：在 Omniglot 数据集上，1-shot 分类准确率达到了 98.8%，5-shot 分类准确率达到了 99.7%，相比 Matching Networks（1-shot 98.1%，5-shot 98.9%）有显著提升。

• 距离函数选择：通过选择欧几里得距离而不是余弦相似度，显著提高了分类性能，特别是在少样本学习任务中。

• 零样本学习：在 CUB-200 数据集上，零样本学习准确率达到了 54.8%，与最先进的方法（如 DS-SJE 50.4% 和 DA-SJE 50.9%）相比，性能提升显著。

论文3

标题：

Enhancing efficiency of protein language models with minimal wet-lab data through few-shot learnin

通过少样本学习用极少湿实验数据提高蛋白质语言模型的效率

方法：

• 元学习（Meta-Learning）：利用模型不可知的元学习方法（MAML），通过构建辅助任务来训练模型，使其能够快速适应新任务。

• 学习排序（Learning to Rank, LTR）：将蛋白质适应性预测转化为排名问题，使用ListMLE损失函数优化模型。

• 参数高效微调（Parameter-Efficient Fine-Tuning）：通过低秩适应（LoRA）技术，仅微调模型中的一小部分参数，避免过拟合。

创新点：

• 少样本学习：仅使用目标蛋白的20个标记单点突变体，就能显著提升蛋白质语言模型的性能，平均Spearman相关性提升 0.1。

• 元学习的应用：通过在辅助任务上进行元学习，FSFP能够快速适应新任务，减少对大量标记数据的依赖。

• 学习排序：将蛋白质适应性预测转化为排名问题，比传统的回归方法更适合少样本学习场景。

• 参数高效微调：通过LoRA技术，仅微调一小部分参数，避免了在小数据集上过拟合的问题，同时保持了模型的泛化能力。

论文4

标题：

Multi-animal 3D social pose estimation, identification and behaviour embedding with a few-shot learning framework

多动物三维社交姿态估计、识别和行为嵌入的小样本学习框架

方法：

• Social Behavior Atlas（SBeA）：提出了一个计算框架，用于多动物三维姿态估计、无标记识别和社交行为分类。

• 连续遮挡复制粘贴算法（COCA）：通过数据增强生成虚拟场景，增加训练数据集的规模，减少手动标注的需求。

• 双向转移学习：利用多动物分割和单动物识别之间的知识共享，实现零样本标注的多动物身份识别。

创新点：

• 小样本学习：仅使用大约400帧的手动标注数据，就能实现多动物三维姿态估计和身份识别。

• 数据增强：通过COCA算法，自动生成大量带有遮挡关系的虚拟场景，显著提高了模型对复杂交互场景的适应性。

• 零样本标注：通过双向转移学习，实现了超过90%准确率的多动物身份识别，无需额外的手动标注。

• 行为分类：扩展的行为图谱能够以超过80%的纯度对社交行为模块进行无监督聚类，揭示了之前未被发现的自闭症模型小鼠的社交行为表型。

 

更多论文料可以关注：AI科技探寻，发送：111  领取更多[论文+开源码】