ColPali 项目使用教程

ColPali 项目使用教程

colpali The code used to train and run inference with the ColPali architecture. 项目地址: https://gitcode.com/gh_mirrors/co/colpali

1. 项目的目录结构及介绍

ColPali 项目是一个用于文档检索的视觉语言模型，其目录结构如下：

• .github/: 存放 GitHub Actions 工作流文件。
• assets/: 存放项目相关的资源文件。
• colpali_engine/: 包含 ColPali 模型的实现代码。
• scripts/: 存放项目运行时使用的脚本文件。
• tests/: 存放项目的测试代码。
• .gitignore: 指定 Git 忽略的文件和目录。
• CHANGELOG.md: 记录项目更新历史。
• CITATION.cff: 提供项目引用信息的文件。
• LICENSE: 项目使用的许可证文件。
• README.md: 项目说明文件。
• pyproject.toml: 项目配置文件。

2. 项目的启动文件介绍

项目的启动主要是通过 colpali_engine 目录中的 Python 文件进行。以下是一个简单的启动示例：

import torch
from PIL import Image
from transformers import is_flash_attn_2_available
from colpali_engine.models import ColQwen2, ColQwen2Processor

# 指定模型名称
model_name = "vidore/colqwen2-v1.0"

# 加载模型
model = ColQwen2.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="cuda:0",  # 或 "mps" 如果使用 Apple Silicon
    attn_implementation="flash_attention_2" if is_flash_attn_2_available() else None,
).eval()

# 加载处理器
processor = ColQwen2Processor.from_pretrained(model_name)

# 准备输入数据
images = [Image.new("RGB", (128, 128), color="white"), Image.new("RGB", (64, 32), color="black")]
queries = ["What is the organizational structure for our R&D department?", "Can you provide a breakdown of last year’s financial performance?"]

# 处理输入数据
batch_images = processor.process_images(images).to(model.device)
batch_queries = processor.process_queries(queries).to(model.device)

# 前向传播
with torch.no_grad():
    image_embeddings = model(**batch_images)
    query_embeddings = model(**batch_queries)
    scores = processor.score_multi_vector(query_embeddings, image_embeddings)

3. 项目的配置文件介绍

项目的配置主要通过 pyproject.toml 文件进行。该文件定义了项目的基本信息，依赖关系以及其他构建和打包的配置。以下是一个配置文件的示例：

[build-system]
requires = ["setuptools", "wheel"]
build-backend = "setuptools.build_meta"

[tool.setuptools]
packages = ["colpali_engine"]
install-requires = [
    "torch",
    "PIL",
    "transformers",
    # 其他依赖
]

在 pyproject.toml 文件中，您可以指定项目所需的依赖库，以及项目的打包和构建方式。这些配置将帮助用户正确安装和使用项目。

colpali The code used to train and run inference with the ColPali architecture. 项目地址: https://gitcode.com/gh_mirrors/co/colpali