omnivision安装及使用文档

最新推荐文章于 2025-08-04 11:45:14 发布

原创最新推荐文章于 2025-08-04 11:45:14 发布 · 514 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#nexaai #大模型

部署运行你感兴趣的模型镜像

一、安装相关指令

安装torch及相关库

# 创建omni环境
conda create -n omni python=3.9
conda activate omni

# 安装torch及依赖库
pip install torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 
pip install einops timm pillow
pip install transformers accelerate diffusers
pip install huggingface_hub
pip install sentencepiece bitsandbytes protobuf record

安装omni
进入omni下载网页下载电脑对应的omni文件 : https://nexaai.github.io/nexa-sdk/whl/cu124

在这里插入图片描述

安装cmake后进行本地编译

# 事先下载安装可以使用清华源安装其他库，
CMAKE_ARGS="-DGGML_CUDA=ON -DSD_CUBLAS=ON" pip install /home/wu/下载/whl/nexaai-0.0.9.7-cp39-cp39-linux_x86_64.whl --prefer-binary  --extra-index-url https://pypi.org/simple --no-cache-dir  -i https://pypi.tuna.tsinghua.edu.cn/simple/


# 没有预先下载也可以使用 进行安装
CMAKE_ARGS="-DGGML_CUDA=ON -DSD_CUBLAS=ON" pip install nexaai --prefer-binary --index-url https://nexaai.github.io/nexa-sdk/whl/cu124  --extra-index-url https://pypi.org/simple  --no-cache-dir

安装完成后可以使用运行
相关链接：https://nexa.ai/NexaAI/omniVLM/gguf-q4_K_M/readme

nexa run omniVLM

二、模型下载

官网：https://nexa.ai/
官网下载模型地址：https://nexa.ai/NexaAI/omnivision-preview/gguf-fp16/file
huggingface对应模型网址：https://huggingface.co/NexaAIDev/OmniVLM-968M/tree/main
下载的模型放入电脑隐藏文件夹下：/home/wu/.cache/nexa/hub/official/omniVLM