NVIDIA Cosmos Tokenizer 安装与配置指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00648/article/details/146800848

NVIDIA Cosmos Tokenizer 安装与配置指南

Cosmos-Tokenizer A suite of image and video neural tokenizers 项目地址: https://gitcode.com/gh_mirrors/co/Cosmos-Tokenizer

1. 项目基础介绍

NVIDIA Cosmos Tokenizer 是一套图像和视频神经标记化工具，它推进了视觉标记化的前沿技术，为开发大规模自回归变换器（如 LLMs）或扩散生成器提供了可扩展、健壮和高效的解决方案。Cosmos Tokenizer 是 NVIDIA Cosmos 平台的核心组件，该平台旨在帮助物理 AI 开发者更快、更好地构建他们的物理 AI 系统。

主要编程语言：Python

2. 项目使用的关键技术和框架

PyTorch：用于构建和训练神经网络的开源机器学习库。
Tokenization：将图像或视频转换为连续潜在空间或离散标记的技术。
GPU 加速：利用 NVIDIA GPU 进行加速计算，提高处理速度。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统中已安装以下软件：

Python 3.x
PyTorch
Git
Docker（推荐，但不是必需）

详细安装步骤

步骤 1：克隆项目仓库

打开终端（或命令提示符），执行以下命令以克隆项目仓库：

git clone https://github.com/NVIDIA/Cosmos-Tokenizer.git
cd Cosmos-Tokenizer

步骤 2：安装依赖

安装项目所需的 Python 包：

pip3 install -e .

如果使用 Docker，可以构建 Docker 镜像：

docker build -t cosmos-tokenizer -f Dockerfile .

步骤 3：下载预训练模型

从 Hugging Face 下载预训练模型。首先，您需要获取 Hugging Face 的访问令牌（token），然后运行以下脚本：

from huggingface_hub import login, snapshot_download
import os

login(token="<YOUR-HF-TOKEN>", add_to_git_credential=True)

model_names = [
    "Cosmos-0.1-Tokenizer-CI8x8",
    # ... 添加其他需要的模型名称
]

for model_name in model_names:
    hf_repo = "nvidia/" + model_name
    local_dir = "pretrained_ckpts/" + model_name
    os.makedirs(local_dir, exist_ok=True)
    print(f"downloading {model_name}...")
    snapshot_download(repo_id=hf_repo, local_dir=local_dir)

替换 <YOUR-HF-TOKEN> 为您的 Hugging Face 访问令牌。