10.28读书笔记《python元学习：通用人工智能的实现》第1章元学习简介

1. 元学习的类型
   学习度量空间（孪生网络、原型网络、关系网络）、学习初始化（MAML、reptile、meta-SGD）、学习优化器（试图学习的基网络和优化基网络的元网络）
2. 通过梯度下降来学习如何通过梯度下降来学习
   原理：梯度下降法的公式，与RNN每个时间步的更新公式很像。
   
   用RNN代替传统的梯度下降法，而RNN通过梯度下降优化。RNN为优化器，基网络（base）为优化对象。
   RNN的输入为：优化对象的梯度、自己上一个状态；RNN输出：更新g，发送给优化对象，以更新优化对象的参数值。
   优化对象更新参数值后，计算损失，并分给RNN。RNN通过梯度下降法优化自身参数。

（一篇笔记：https://blog.youkuaiyun.com/wangkaidehao/article/details/103376715?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-103376715-blog-118118438.pc_relevant_3mothn_strategy_and_data_recovery&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-103376715-blog-118118438.pc_relevant_3mothn_strategy_and_data_recovery&utm_relevant_index=2）

3. 少样本学习的优化模型
   梯度下降优化需要较多的数据来收敛。少样本学习中，梯度下降会因为数据点少而失效，因此需要更好的优化技术。
   用LSTM优化器。
   （好像就是上述一个具体例子？）