开源项目安装与配置指南：Byaldi

开源项目安装与配置指南：Byaldi

byaldi Use late-interaction multi-modal models such as ColPali in just a few lines of code. 项目地址: https://gitcode.com/gh_mirrors/by/byaldi

1. 项目基础介绍

Byaldi 是一个开源项目，旨在简化使用晚期交互多模态模型（如 ColPali）的过程。该项目基于电影《料理鼠王》中的概念，提供了一个简单易用的封装库，允许用户通过熟悉的 API 快速构建多模态检索管道。Byaldi 支持所有 ColVLM 模型，并且计划在未来支持更多模型，如 VisRAG。

主要编程语言：Python

2. 项目使用的关键技术和框架

• ColPali：一个底层库，提供晚期交互多模态模型的实现。
• ColQwen2：一种新的、更好的 ColPali 检查点。
• Flash-Attention：用于提高模型运行效率的一种注意力机制。
• Poppler：一个用于处理 PDF 文件的工具，与 pdf2image 库配合使用。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统中已安装以下依赖：

• Python 3.6 或更高版本
• pip（Python 包管理器）
• Poppler（用于处理 PDF 文件）

安装步骤

步骤 1：安装依赖

首先，确保您的系统已安装 Python 和 pip。然后，在命令行中执行以下命令来安装 Byaldi 及其依赖：

pip install byaldi

步骤 2：安装 Poppler

根据您的操作系统，使用以下命令安装 Poppler：

对于 macOS（使用 Homebrew）：

brew install poppler

对于 Debian/Ubuntu：

sudo apt-get install -y poppler-utils

步骤 3：安装 Flash-Attention

安装 Byaldi 后，执行以下命令安装 Flash-Attention：

pip install flash-attn

步骤 4：加载模型

安装完成后，您可以通过以下代码加载一个预训练模型：

from byaldi import RAGMultiModalModel

# 加载一个预训练模型
RAG = RAGMultiModalModel.from_pretrained("vidore/colqwen2-v1.0")

步骤 5：创建索引

创建索引以存储文档信息：

# 创建索引
RAG.index(
    input_path="docs/",
    index_name="my_index",
    store_collection_with_index=False,
    doc_ids=[0, 1, 2],
    metadata=[{"author": "John Doe", "date": "2021-01-01"}],
    overwrite=True
)

步骤 6：搜索文档

一旦索引创建完成，您可以使用以下代码搜索相关文档：

results = RAG.search("query", k=3)

以上就是 Byaldi 项目的详细安装和配置指南。遵循这些步骤，您应该能够成功安装并开始使用 Byaldi 进行多模态检索任务。

byaldi Use late-interaction multi-modal models such as ColPali in just a few lines of code. 项目地址: https://gitcode.com/gh_mirrors/by/byaldi