6、图像标注框架与信息安全的研究与实践-优快云博客

图像标注框架与信息安全的研究与实践

1. PERIA - 框架：预测扩展修订图像标注框架

1.1 IT - SAIN 工具的实现

为了实例化 PERIA - 框架，开发了交互式半自动图像标注工具（IT - SAIN）。该工具通过将低级别图像对象描述符映射到训练数据集中明确指定的概念，自动建议图像标注。采用具有前馈算法的人工神经网络（ANNs）作为分类器，将描述符映射到图像对象中的概念，以提供自动标注。

ANNs 推荐的图像标注会被手动更新，并通过词库进行扩展。手动更新后的图像标注会再次纳入训练数据集，通过重新训练分类器，PERIA - 框架提高了图像标注的准确性。这种自动与手动技术的结合，形成了一种半自动的图像对象标注方法。

IT - SAIN 利用了五种不同的 ANNs 和描述符（一个描述符集对应一个 ANN），描述符包括前景颜色、背景颜色、三维颜色直方图、边缘和角点信息。ANNs 的输入是提取描述符的数值，输出则是图像标注。实际上，对这五种 ANNs 分别在提取的描述符上进行了训练，以预测给定输入描述符对应的概念。

在实现 IT - SAIN 时，使用了 C# 和 MatLab。在 MatLab 中构建并训练 ANNs，然后将其导入 Matlab MAT 文件。这样，训练好的 ANNs 就可以作为工作区永久存储，并用于 IT - SAIN 中的标注预测。将 MAT 文件封装在一个组件中，并集成到 C# 应用程序中进行标注预测。描述符提取器也在 Matlab 中实现，最终集成到 C# 应用程序中，以提取与图像对象相关的描述符。应用程序的界面、扩展和修订机制也在 C# 中实现。