2、极端边缘设备的资源高效机器学习：挑战与解决方案

极端边缘设备的资源高效机器学习：挑战与解决方案

1. 机器学习模型分类

机器学习模型是机器学习的主要输出，能从数据中学习执行所需任务。机器学习可处理的任务范围广泛，相应地，可用模型的种类也很多。Peter Flach将机器学习模型分为三大类：几何模型、概率模型和逻辑模型。

1.1 几何模型

这类模型直接在特征空间中使用几何概念（如直线、平面和距离）构建。例如，线性分类器通过在两个质心之间的线的中点相交来构建×和◦样本之间的边界。最近邻分类器也是几何模型的一种，它通过评估新实例的欧几里得距离并将其分配到与最近训练实例相同的类别来进行分类。支持向量机学习一个与每个类别最接近的训练示例具有最大距离的边界。多层感知器等几种类型的神经网络也基于几何概念，它们试图在特征空间中找到一个非线性超平面来分离不同类别的实例。

1.2 概率模型

这些模型假设存在一个潜在的随机过程生成变量（或特征），因此可以用概率分布来描述它们之间的关系。可以使用概率公理和规则来执行任务。例如，在活动识别中，可以通过学习可用特征上的分布并使用贝叶斯规则计算后验概率，来推断给定感官数据下可能活动的概率。概率模型通常是生成式的，意味着可以从模型中包含的变量中采样值。

1.3 逻辑模型

这类模型依靠一系列逻辑规则来执行感兴趣的任务。这个序列通常以树或图的结构组织，如决策树。决策树对特征空间进行分层划分，叶子节点用不同的类别标记。对新实例的分类可以通过按照编码规则沿着树的路径直到叶子级别，并预测该特定叶子的多数类别来执行。

需要注意的是，上述分类并不是相互排斥的。例如，概率电路结合了概率模型和逻辑模型的概念。同样，在