25、手写识别技术：切线距离、神经网络与上下文驱动搜索

手写识别技术：切线距离、神经网络与上下文驱动搜索

1. 切线距离算法概述

切线距离算法是一种易于理解和实现的算法。它不需要太多的预处理或学习，但性能却出奇地好，能与一些优秀的竞争算法相媲美。该算法成功的主要原因在于它能够将先验知识融入到距离度量中。在三个数据库中的一个上，唯一比切线距离算法表现更好的是提升算法，它也内置了类似的关于变换的先验知识。

1.1 算法优势

切线距离算法的主要优势在于它是对标准距离度量的一种改进，使其能够结合特定问题的先验知识。基于常见距离度量的算法（如分类、向量量化、预测等）都有可能从更具问题针对性的距离中受益。许多“基于距离”的算法不需要学习，只需在数据库中添加新的模式就能立即适应，而切线距离中的先验知识则能充分利用这些新增内容。

1.2 算法缺点

切线距离算法也存在两个缺点，即内存和计算需求较大。通常，计算和内存效率较高的算法都涉及学习。不过，切线向量的概念也可用于学习，这就是切线传播算法的基础。

1.3 切线传播算法

切线传播算法的概念很简单：除了从分类函数的值的示例中学习，还可以利用其导数的信息，这些信息由切线向量提供。然而，在这个方向上的实验还不多。切线传播算法存在两个主要问题：一是学习机器的容量需要调整以纳入与切线向量相关的额外信息；二是训练时间必须增加。训练后，分类时间和复杂度不变，但分类器的性能会得到提升。

1.4 算法近似理解

近似地说，使用切线距离或切线传播就像是拥有一个更大的数据库。如果数据库一开始就足够大，那么切线距离或切线传播可能不会提高性能。更准确地说，切线向量就像是使用一个失真模型来扩大训练