SVM研究展望

方向

回归问题、多分类问题、多示例问题、多标记问题、多视角问题、特征压缩问题、时间序列问题、半监督学习问题[和无监督学习问题, 而且包括深度学习 和广度学习 等新的研究热点

• 从理论上研究如何提高各种 SVM 的泛化能力使其达到期望风险更紧的上界;
• 从模型上研究新的正则化项、损失函数和核函数的构建及其适用范围;
• 由于 SVM 需要求解优化问题, 相应的快速求解算法也是一个研究方向.

在传统机器学习中, SVM 已被公认为是处理小样本机器学习问题的典范技术. 然而, 到了当今大
数据时代, 数据多呈现规模巨大和数据价值密度低等新的特点, 这使得 SVM 的发展遇到了新的重大
挑战. 同时, 相对于深度学习和强化学习等新学习范式的蓬勃发展, SVM 的研究陷入了低谷. 本文摒
弃将它们对立的观点, 而强调它们的融合与交叉. 我们将从剖析支持向量机的本质出发, 探讨一些新
的研究思路. 具体包括支持向量机 3 个方面的问题: 最大间隔思想与稀疏性、核函数与相应的统计学
习理论, 以及浅层学习到深度学习与广度学习. 同时, 从这 3 个方面分别提出潜在的挑战性课题, 并展
望可能的发展方向.

1. SVM 最大间隔 (寻找数据边界低密度区域思想) 和稀疏损失函数

如何在大规模和数据价值密度低的数据中找到有价值的信息, 是当今大数据时代的主要课题之一.
因此, SVM 最大间隔 (寻找数据边界低密度区域思想) 和稀疏损失函数的进一步研究意义非凡. 展望
的研究工作如下:

• 经典 SVM 最大间隔是对两类数据中点与点之间而言的, 最大间隔还可考虑数据粒度之间的间
  隔、数据局部的间隔、数据分布之间的间隔和不同度量意义下的间隔等多种形式. 利用不同的最大
  间隔思想识别不同数据边界低密度区域的研究很有意义, 特别是对大规模数据的处理.
• 支持向量是数据边界稀疏一侧且不易充分正确划分的数据点输入, 支持向量具有构造决策和
  重构数据边界等功能, 价值密度较高. 因此, 在大数据中支持向量及其价值值得深入研究. 例如, 利用
  支持向量进行数据压缩和数据表达, 利用支持向量寻找或构造重要数据和特征等问题. 此外, 构造更加
  稀疏的支持向量的模型和寻求高效算法也是很有价值的问题.
• 构造并研究新的稀疏损失函数也是当前研究的热点, 这里包括将稀疏损失函数与最大间隔思
  想融合的研究, 更加稀疏的鲁棒非凸稀疏损失函数的研究, 定义在簇、局部和分布上的稀疏损失函数
  的研究, 以及大规模或超大规模数据问题的稀疏损失模型与算法的研究.

数据分布之间的间隔

T. Zhang and Z. Zhou, “Optimal Margin Distribution Machine,” in IEEE Transactions on Knowledge and Data Engineering, vol. 32, no. 6, pp. 1143-1156, 1 June 2020, doi: 10.1109/TKDE.2019.2897662.

2. SVM 非线性学习

非线性学习是机器学习最重要的学习问题之一, 以 SVM 为代表的核方法为非线性学习提供了一
种非常好的实现路径. 然而, 如何寻找最优的核映射, 以及核方法如何有效应用于大规模问题等依然
有很长的路要走. 展望的工作如下.

• 核函数的构造及理论研究. 以上核函数对应的是 Hilbert 空间中的核映射, 而现实中不同数据
  结构 (字符串、图、空间数据等) 下可能需要构造相应的更广泛空间映射意义下的核, 如不定核 [32, 33]
  和图核[34, 35] 等, 而对非 Hilbert 空间中的核映射研究还很不充分. 针对不同数据构造具有良好解释性
  的、适用性更广泛的、更易于计算的核, 并研究其统计学习意义下的性质和理论等有广阔的前景.
• 大型核矩阵的存储与计算. 由于核方法中大多需要核矩阵, 而对于大规模问题而言, 核矩阵往
  往很大, 这对存储和计算都带来了困难. 如何求解相应的大型核矩阵是核方法发展的一个瓶颈. 构造
  适用于大规模问题的核模型与算法 (如随机核模型、可并行计算的核模型[36, 37] 等) 都值得深入研究.
• 寻找或选择最优核映射. 尽管文献 [31] 为学习最优核矩阵提供了良好的开端, 但实践中, 如
  何选择或构造出合适的核矩阵基底并求得最优核等问题尚未解决. 目前, 利用深度学习和启发式学
  习[38, 39] 等方式的研究为最优核学习提供了一个新的方向.
  此外, 核方法在其他机器学习问题中也大有可为.

3. 深度 SVM 与广度 SVM

深度学习和广度学习是当前大规模复杂数据问题的研究热点. SVM 作为一种特殊结构的神经
网络模型, 由于其核映射的非线性和稀疏性等特点, 在深度网络和广度网络的研究中也受到了关注. 但
是这方面的研究还很不充分, 许多基础理论问题尚未解决, 有效的模型和算法也不多. 因此, 存在着较
大发展潜力. 展望的研究工作如下.

• 研究深度学习 SVM 的理论模型. 深度学习 SVM 的理论基础尚缺, 关于是否需要多层 SVM
  的争论还在继续. 近年来, 深度学习不同网络结构的研究取得了较大进展, 而不同网络结构的 SVM 模
  型研究才刚刚起步, 容易计算且可以解决大规模问题的深度 SVM 网络结构缺乏, 这极大限制了 SVM
  在深度学习中的发展.
• 研究深度 SVM 和广度 SVM 的算法. 多层非线性映射模型、稀疏损失的深度模型和多核学习
  模型的复杂度往往都很高, 这是制约深度 SVM 和广度 SVM 研究的现实问题. 如果能在存储和计算方
  面有所突破, 将为以上模型提供现实可行的路径.
• 研究深度学习 SVM 与广度学习 SVM 的结合. 深度学习 SVM 与广度学习 SVM 模型都构
  造非线性映射从而构成最终的学习器, 它们都是研究复杂数据问题的有力手段. 如何针对特定的问题,
  将二者进行融合等是值得期待的新领域.
• 研究可以实现端到端的深度和广度核模型与算法. 端到端将特征学习和学习器学习融为一
  体, 是深度学习的主要优点之一. 核映射具有广泛适用性, 构造核映射可以生成不同的特征. 可以期望
  利用深度学习和广度学习的网络结构, 构造出适当的核和学习器融合, 从而有效地实现端到端的学习
  过程.

Ref:邵元海,刘黎明,黄凌伟,邓乃扬.支持向量机的关键问题和展望[J].中国科学:数学,2020,50(09):1233-1248.