5.3 Explorer GUI

5.3 Explorer GUI

简介

Explorer GUI 是一个基于 Ultralytics Explorer API 构建的“游乐场”。它允许您运行语义/向量相似性搜索、SQL 查询，甚至通过我们的 AI 查询功能（由 LLM 提供支持）使用自然语言进行搜索。

观看视频：Ultralytics Explorer Dashboard 概述

安装

pip install ultralytics[explorer]

注意：Ask AI 功能使用 OpenAI，因此在您第一次运行 GUI 时会提示您设置 OpenAI 的 API 密钥。您可以这样设置：yolo settings openai_api_key="..."

向量语义相似性搜索

语义搜索是一种用于查找与给定图像相似图像的技术。它基于相似图像将具有相似嵌入的思想。在用户界面中，您可以选择一个或多个图像，然后搜索与之相似的图像。这在您想查找与给定图像或一组未能按预期表现的图像相似的图像时非常有用。

例如：在 VOC 探索仪表盘中，用户可以选择几张飞机图片，如下所示：

在执行相似性搜索后，您将看到如下类似的结果：

使用 AI 查询（Ask AI）

这使您可以使用自然语言来过滤数据集，而无需掌握 SQL 查询的编写。我们的 AI 查询生成器会在后台自动执行此操作。例如，您可以说：“给我显示包含一个人和两只狗的 100 张图像，即使包含其他对象也可以”，它会生成相应的查询并显示这些结果。以下是请求“显示 10 张包含 5 个人的图像”时的示例输出，您会看到如下结果：

注意：此功能在后台使用 LLM，因此结果是概率性的，有时可能会出现错误。

在计算机视觉数据集上运行 SQL 查询

您可以在数据集上运行 SQL 查询来对其进行过滤。即使您只提供 WHERE 子句，它也能正常工作。例如，以下 SQL 查询将仅显示至少包含 1 人和 1 只狗的图像：

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

构建自己的探索应用

这是一个基于 Explorer API 构建的演示。您可以使用 API 构建自己的探索性笔记本或脚本，以深入了解数据集。了解更多关于 Explorer API 的信息。

常见问题解答

什么是 Ultralytics Explorer GUI？如何安装？

Ultralytics Explorer GUI 是一个强大的界面，通过 Ultralytics Explorer API 解锁高级数据探索功能。它允许您运行语义/向量相似性搜索、SQL 查询，并通过 Ask AI 功能使用自然语言查询。

要安装 Explorer GUI，可以使用以下命令：

pip install ultralytics[explorer]

注意：要使用 Ask AI 功能，您需要设置 OpenAI 的 API 密钥：yolo settings openai_api_key="..."。

Ultralytics Explorer GUI 中的语义搜索功能如何工作？

Ultralytics Explorer GUI 中的语义搜索功能允许您基于图像嵌入查找与给定图像相似的图像。这种技术对于识别和探索具有视觉相似性的图像非常有用。要使用此功能，请在界面中选择一个或多个图像并执行相似性搜索。结果将显示与所选图像最相似的图像，有助于高效的数据集探索和异常检测。

我可以在 Ultralytics Explorer GUI 中使用自然语言过滤数据集吗？

是的，通过由大型语言模型（LLMs）提供支持的 Ask AI 功能，您可以使用自然语言查询来过滤数据集。您无需精通 SQL，例如，您可以请求“给我显示包含一个人和两只狗的 100 张图像，即使包含其他对象也可以”，AI 会在后台生成适当的查询来提供所需的结果。

如何使用 Ultralytics Explorer GUI 在数据集上运行 SQL 查询？

Ultralytics Explorer GUI 允许您直接在数据集上运行 SQL 查询，以便高效地过滤和管理数据。要运行查询，请导航到 GUI 中的 SQL 查询部分并编写您的查询。例如，要显示包含至少一个人和一只狗的图像，您可以使用：

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

您也可以仅提供 WHERE 子句，使查询过程更加灵活。

使用 Ultralytics Explorer GUI 进行数据探索有什么好处？

Ultralytics Explorer GUI 提供了语义搜索、SQL 查询和自然语言交互（通过 Ask AI 功能）等功能，增强了数据探索的能力。这些功能使用户能够：

• 高效查找视觉相似的图像。

• 使用复杂的 SQL 查询过滤数据集。

• 利用 AI 进行自然语言搜索，无需掌握复杂的 SQL 语法。

这些功能使得 Ultralytics Explorer GUI 成为开发者、研究人员和数据科学家深入了解其数据集的多功能工具。