【ComfyUI + 视频理解/反推题词】LLaVA-OneVision:单图、多图、视频任务理解（caption）（2024.08开源）

本文链接：https://blog.youkuaiyun.com/imwaters/article/details/144518832

论文公开时间：2024年8月
Comfyui扩展：https://github.com/kijai/ComfyUI-LLaVA-OneVision
项目主页：https://llava-vl.github.io/blog/2024-08-05-llava-onevision/
论文：LLaVA-OneVision: Easy Visual Task Transfer
comfyui工作流下载：
https://pan.baidu.com/s/1J_dnOrlbp9kPlSUljCb-Kg?pwd=1216

在这里插入图片描述

根据上面视频题词简单修改，然后LTX-Video 文生视频生成

【ComfyUI+视频生成】LTX-Video 快速生成视频 + 图生视频（生成4秒 3090需要20秒）

在这里插入图片描述

一、简介

LLaVA-OneVision是一个开放的大型多模态模型（LMMs），它是通过整合在LLaVA-NeXT中技术升级开发的。能同时理解图片和视频。

单一模型，一打三（单图，多图，长视频）

LLaVA-OneVision：单一模型同时理解单图像、多图像和视频场景的。
在这里插入图片描述

大量图片训练，却能迁移到视频上（视频只占26%）

LLaVAOneVision的设计允许跨不同的模式/场景进行强大的迁移学习，从而产生新的新兴能力。特别是，
通过从图像到视频的任务转移，展示了强大的视频理解和跨场景能力。

在这里插入图片描述

模型结构和训练方法

在qwen2大语言模型 + 多层感知机 + google/siglip-so400m-patch14-384 （视觉编码器）
在这里插入图片描述

在这里插入图片描述

LLaVA-OneVison和LLaVA-NeXT的关系

开发时间线: 从LLaVA-NeXT 到 LLaVA-OneVision
在这里插入图片描述

二、在comfyui中使用：

在这里插入图片描述

多模态模型的`题词描述`

英文

ONLY USE A SINGLE PARAGRAPH. Analyze the given image and generate a detailed video prompt by: 
describing the main subject or action; detailing the setting and background; noting significant visual elements, colors, and textures; including information about lighting, time of day, or weather conditions if relevant; mentioning any movement, progression, or change in the scene; describing the mood or atmosphere; including sensory details beyond visual elements when appropriate; using vivid, descriptive language; maintaining a neutral tone without subjective interpretations; keeping the description under 240 tokens for clarity and conciseness; structure the output as follows: 
[Main subject/action]. [Setting and background details]. [Visual elements, colors, textures]. [Lighting, time, weather]. [Movement or progression]. [Mood/atmosphere]. [Additional sensory details if applicable].

中文题词 (效果没有英文好)

只使用一个段落。通过以下方式分析给定的图像并生成详细的视频提示：
描述主要主题或行为；详细说明背景和背景；注意重要的视觉元素、颜色和纹理；包括有关照明、时间或天气状况的信息（如相关）；提及场景中的任何移动、进展或变化；描述情绪或氛围；在适当的时候，包括视觉元素之外的感官细节；使用生动、描述性的语言；保持中立的语气，没有主观解释；为了清晰简洁，将描述保持在240个标记以下；输出结构如下：
[主要主题/行动]。[设置和背景细节]。[视觉元素、颜色、纹理]。[照明、时间、天气]。[运动或进展]。[情绪/氛围]。[其他感官细节（如适用）]。