ColPali 使用教程

ColPali 使用教程

colpali The code used to train and run inference with the ColPali architecture. 项目地址: https://gitcode.com/gh_mirrors/co/colpali

1. 项目介绍

ColPali 是一个基于视觉语言模型的开源项目，用于实现文档检索。它利用视觉语言模型（VLMs）构建视觉空间中的高效多向量嵌入，从而无需复杂的布局识别和OCR管道即可处理文档的文本和视觉内容（如布局、图表等）。

2. 项目快速启动

在开始使用 ColPali 前，请确保您的环境中已安装了 Python 3.9 或更高版本，以及 PyTorch 的最新版本。以下是快速启动的步骤：

首先，安装 ColPali 包：

pip install colpali-engine

或者，您也可以从源代码安装：

pip install git+https://github.com/illuin-tech/colpali

接下来，您可以使用以下代码来快速启动一个 ColPali 模型：

import torch
from PIL import Image
from transformers import is_flash_attn_2_available
from colpali_engine.models import ColQwen2, ColQwen2Processor

# 选择模型
model_name = "vidore/colqwen2-v1.0"

# 加载模型
model = ColQwen2.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # 或 "mps" 如果您使用的是 Apple Silicon
    attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,
).eval()

# 加载处理器
processor = ColQwen2Processor.from_pretrained(model_name)

# 准备输入
images = [Image.new("RGB", (128, 128), color="white"), Image.new("RGB", (64, 32), color="black")]
queries = ["我们的研发部门组织结构是什么？", "你能提供去年财务表现的细分吗？"]

# 处理输入
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# 前向传播
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)
    scores = processor.score_multi_vector(query_embeddings, image_embeddings)

3. 应用案例和最佳实践

ColPali 可以应用于多种文档检索场景，以下是一些案例和最佳实践：

• 案例1：企业内部文档检索，帮助员工快速找到相关技术文档、报告等。
• 案例2：图书馆或研究机构的文献检索，便于研究人员检索相关学术资料。

最佳实践：

• 在处理大量文档时，建议使用更高效的模型，如 ColQwen2 系列。
• 为获得更好的检索效果，建议对文档进行预处理，如去除噪声、标准化文本等。

4. 典型生态项目

ColPali 作为文档检索的开源项目，可以与以下生态项目结合使用：

• Transformers：用于加载和利用预训练的视觉语言模型。
• PyTorch：提供深度学习所需的计算框架。

以上就是 ColPali 的使用教程，希望对您有所帮助。

colpali The code used to train and run inference with the ColPali architecture. 项目地址: https://gitcode.com/gh_mirrors/co/colpali