构建私人视觉搜索应用：使用多模态嵌入和LLM进行图像问答

在现代智能设备中，视觉搜索已经是一个非常常见的应用。它允许用户使用自然语言来搜索照片。然而，随着开源多模态大型语言模型（LLMs）的发展，现在我们可以为自己的私人照片集构建类似的应用程序。在本文中，我将演示如何使用名为 rag-chroma-multi-modal 的模板来实现私人视觉搜索和问答功能。

技术背景介绍

视觉搜索技术通常结合图像嵌入和自然语言处理（NLP）技术。在这个模板中，我们将使用 nomic-embed-vision-v1 的多模态嵌入来对图像进行嵌入，以便进行高效的图像搜索。同时，使用 Ollama 提供的开源多模态 LLM 来进行问题回答。

核心原理解析

这个流程的核心是将问题转化为搜索图像的指令，找到相关图像后，再结合自然语言生成模型进行问题回答。其关键步骤包括：

1. 嵌入图像: 使用 nomic-embed-vision-v1 多模态嵌入将图像数据转化为向量。
2. 建立索引: 对嵌入的图像创建一个索引，方便快速检索。
3. 问答生成: 使用 Ollama 的多模态 LLM 来合成对给定问题的答案。

代码实现演示

以下是如何使用提供的模板来实现上述功能的完整代码步骤：

设置环境

首先，安装必要的软件包：

poetry install

图像索引创建

运行以下命令创建图像索引：

python inges