ui-tars和omni-parser使用

ui-tars与omni-parser使用指南

原创

已于 2025-04-02 14:43:32 修改 · 897 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#ai #vim

于 2025-04-02 11:31:48 首次发布

ui-tars部署和训练

说明
快速开始

说明

镜像中包含ui-tars、llama-factory和omni-parser。该镜像还在审批中，估计明天可以上线，到时候可以在auto-dl中的社区镜像搜索。

快速开始

使用auto-dl镜像：
在这里插入图片描述

https://www.codewithgpu.com/i/hiyouga/LLaMA-Factory/ui-tars_omni-parser_llama-factory

环境准备

将模型从系统盘移动到数据盘，移动成功后可以选择删除原文件

cp -r /root/model/UI-TARS-7B-DPO /root/autodl-tmp/
cp -r /root/omni  /root/autodl-tmp/

ui-tars web推理和训练

bash /root/LLaMA-Factory/chuli/one.sh

高级设置的提示模板要改成qwen2_vl，否则无法上传图片
在这里插入图片描述
具体的使用方法可以查看llama-factory官方
https://github.com/hiyouga/LLaMA-Factory

ui-tars api部署

进入conda环境

conda activate llama

-tp 是指需要的gpu数量，改成1

python -m vllm.entrypoints.openai.api_server --served-model-name ui-tars \
    --model /root/autodl-tmp/UI-TARS-7B-DPO --limit-mm-per-prompt image=5 --dtype=half -tp 1

使用自定义服务进行映射，方便本地电脑调用：

ssh -CNg -L 8000:127.0.0.1:8000 root@region-9.autodl.pro -p 46525

本地电脑调用示例：

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "ui-tars",
        "messages": [
            {"role": "user", "content": "我想问你，5的阶