【pytorch深度学习——小样本学习策略】网格搜索和遗传算法混合优化支持向量机的小样本学习策略进行预测

最近需要根据心率血氧数据来预测疲劳度，但是由于心率血氧开源数据量较少，所以在训练模型时面临着样本数量小的问题，需要对疲劳程度进行多分类，属于小样本，高维度问题。在有限样本的条件之下，必须要需要选择合适的深度学习算法同时满足模型的泛化能力和学习精度。其次，由于小样本学习的前提，不可避免的问题就是过拟合，因此在选择和训练模型的过程中要尽量规避过拟合的问题。再次，如何对于数据进行预处理直接影响了模型的输入层的设计甚至模型整体，特别是在小样本学习的条件下，要充分利用有限样本数据进行预处理。最后，模型的参数优化问题决定了模型的表现，好的参数设定往往可以大幅提升模型的性能。

于是我们采用了网格搜索和遗传算法混合优化支持向量机的小样本学习策略来构建模型。

首先进行了相关论文的查阅

1. 疲劳检测与血氧饱和度的关系：
   1. 郭稳等在《基于多源生理信号的装备操作人员穿戴式疲劳检测方法研究》论文中给出了模拟实验的方法和结论，疲劳分数和血氧饱和度之间有着显著的负相关关系。
   2. 李雨等在《基于多生理信息融合的运动疲劳检测系统的搭建》论文中测试并概述了随着疲劳等级的加深，血氧饱和度是趋于下降的趋势。
2. 疲劳检测与心率的关系。
   1. 郭稳等在《基于多源生理信号的装备操作人员穿戴式疲劳检测方法研究》论文中证明了疲劳会使心率的波动程度有一定的变化。
   2. 李雨等在《基于多生理信息融合的运动疲劳检测系统的搭建》论文中测试并概述了随着疲劳等级的加深，心率的最大值最小值之差、心率的标准差这两个特征值没有较为规律的趋势，相反心率最大值、心率最小值、心率平均值具有明显的规律，即这三个特征值随着疲劳等级的加深均呈明显的上升趋势。

所以我们选用心率血氧两个指标作为疲劳度预测模型的输入，其中在小样本的条件之下，要想满足机器学习方法的泛化能力和学习精度，拟选择支持向量机（SVM）这种机器学习的理论方法。不选择神经网络是因为它对于有限样本的学习能力很强容易出现过学习的现象导致模型的泛化能力很差，不选择贝叶斯网络的原因是本项目特征值之间并非独立关系，不选择决策树的原因是容易出现过拟合已经不能很好表征数据之间的相关性。

遗传算法和网格搜索混合算法通过遗传算法适用于非线性和非凸问题弥补了网格搜索不适用于非凸优化问题的缺点，同时混合算法结合了两者的优点，具有更强的全面搜索能力确保可以找到最佳函数参数g和惩罚参数c，可以一定程度上弥补有限样本参数难以优化的缺点。

具体的结构框图如下：