30、基于人工智能的草图识别与操作能力测试技术

基于人工智能的草图识别与操作能力测试技术

1. 草图数据增强与特征处理

在草图处理中，为了增加数据量，采用了部分笔画变形和整体笔画变形两种方式。整体笔画变形的步骤如下：
1. 通过凸包算法找到草图轮廓，取凸多边形坐标的最大或最小点作为骨干点。
2. 与部分笔画变形类似，使用公式(3)和MLSs算法重新计算并连接新点，生成新的轮廓。
最终算法将两种变形结合，先进行部分笔画变形，再进行整体笔画变形。

特征提取和特征量化是草图检索网络训练的重要环节：
- 特征提取 ：从手绘草图或标准图像标签中提取局部图像块或总图的特征。
- 特征量化 ：将局部特征组合成全局特征，并对全局特征进行编码，以描述整个图像。好的特征量化能使非相似图形的特征向量距离变大，相似图形的特征向量距离变小。

具体训练过程如下：
1. 用单个草图或标准图像特征提取网络进行分类训练，让网络有更好的特征提取效果。
2. 手绘草图由高度抽象的不连续稀疏线组成，标准图像标签由密集像素点组成，图像匹配较难。目标是处理类似的草图 - 图像标签模型，在草图和自然图像的特征之间映射一个共同的跨域特征空间，缩小手绘草图和标准图像标签的距离，使其远离无关标签，实现更好的跨域特征空间映射训练和更高效的草图检索功能。

在公共嵌入空间中，根据草图a和图形图像p的平方欧几里得距离定义相似度：
[D(a, p) = |f_h(a) - f_h(p)|_2^2]
其中，(f_h(\cdot))是手绘草图和标签图像的跨域特征表示，(D(\cdot, \cdot))是草图a