在人工智能领域的技术演进中，各细分赛道正加速向Transformer架构汇聚。然而长期以来，文生图与文生视频领域始终由Diffusion+U-Net架构主导。尽管Diffusion模型凭借开源生态优势和较低计算成本占据主流，但Google最新发布的VideoPoet模型，通过大语言模型架构在视频生成领域展现出的突破性成果，正重新定义行业对视觉智能的认知边界。
【免费下载链接】imagegpt-medium 
项目地址: https://ai.gitcode.com/hf_mirrors/openai/imagegpt-medium
作为专注于视频生成的Foundation Model，VideoPoet不仅实现了视频、音频的一体化生成，更在长视频创作和动作连贯性控制方面取得显著突破。其采用的纯Transformer架构设计，将多种视频生成能力集成于单一模型，为探索视觉智能的终极形态提供了全新技术路径。Google研究院科学家蒋路预测，视频生成领域的"ChatGPT时刻"有望在2024年底至2025年初到来，届时AI生成视频将达到好莱坞样片级别质量；而从长远看，视觉智能的终极目标是实现真正的人工通用智能（AGI）在视频领域的深度应用。
视频生成技术路线的分化与融合
当前视频生成领域的技术路线呈现明显分野，蒋路将其概括为两大主流方向：基于Diffusion的生成体系和基于Language Model的建模方法。"我们团队同时推进着两条路线的研究，VideoPoet是语言模型路线的典型代表，而与李飞飞教授合作的WALT项目则采用Diffusion架构。"他特别指出，用"Token-based"来区分这两类技术并不准确，因为Diffusion模型中同样存在Token概念，关键差异在于建模逻辑的本质不同。
如上图所示，该视觉设计直观呈现了VideoPoet的多模态融合能力，左侧人物图像代表静态视觉理解，右侧鲨鱼动态场景象征视频生成能力，中间标识则凸显LLM架构的核心地位。这种设计生动诠释了VideoPoet如何通过统一模型架构实现跨模态内容创作，为理解视频生成技术的演进提供了具象化参考。
Diffusion技术已历经三代演进：从最初的Pixel Diffusion，到第二代Latent Diffusion，再到融合Transformer骨干网络的第三代架构。目前该路线占据约90%的研究份额，形成压倒性主流地位。相比之下，基于语言模型的技术探索其实起步更早，2020年的ImageGPT和初代DALL-E就已引入相关概念，Google的Parti模型更是完全基于语言模型实现文生图功能。
语言模型路线内部又可细分为两类：以Mask Language Model（如BERT）为基础的方法，典型代表包括Google的MaskGIT和后续的Muse文生图模型；另一类则是遵循自回归（Auto-regressive）逻辑的语言模型，更贴近当前大语言模型的技术范式。值得注意的是，随着技术发展，Diffusion与Language Model之间的界限正日益模糊，特别是Diffusion模型持续吸收语言模型的技术精华，呈现出明显的融合趋势。
这种技术融合在Diffusion的演进中体现得尤为明显。初代Pixel Diffusion直接处理像素空间，在高分辨率图像生成时效率低下，应用于三维视频空间更面临巨大挑战。行业早期采用级联策略应对，通过多个模型串联实现渐进式生成，但复杂度极高。Latent Diffusion的出现标志着关键突破，其核心思想是将高维视觉数据通过Tokenizer降维至特征空间，在压缩后的 latent space 完成扩散过程后再映射回图像空间。"这一思想本质上源自语言模型，"蒋路解释道，"Latent Diffusion的研究团队原本就从事NLP研究，他们将Tokenizer概念引入视觉生成领域，彻底改变了Diffusion的发展轨迹。"
第二代里程碑则体现在U-Net架构向Transformer的迁移，以DiT（Diffusion Transformers）为代表的研究证明，Transformer架构在特征表达能力上的优势同样适用于Diffusion模型。蒋路强调："当Diffusion模型采用Transformer作为骨干网络后，其与语言模型路线的技术差异已大幅缩小，两者均基于Token进行建模，最核心的区别仅在于Diffusion处理连续Token而语言模型处理离散Token。"
主流技术路线的生态竞争与发展瓶颈
Diffusion路线之所以能占据绝对主流，蒋路认为开源生态的推动作用至关重要："Stable Diffusion作为首个完整开源的高质量生成模型，彻底重塑了研究格局。99%的论文都基于现有基础模型进行微调或改进，很少有团队能承担从头训练基础模型的成本。"这种生态优势形成了强大的路径依赖，即使在视频生成领域，当前研究也大多遵循"图像生成→帧间优化→视频合成"的间接路线，导致"幻灯片式生成"成为普遍现象。
"这并非最优解，但却是当前技术条件下唯一可行的方案。"蒋路直言，开源社区的资源限制极大制约了技术探索的广度。他预测，Stable Video Diffusion的推出将打破这一局面："作为首个开源视频Foundation Model，它将使时间一致性等基础问题得到原生解决，未来半年到一年内，大量研究将转向基于该模型的二次开发。"尽管他个人认为当前版本并非最优技术方案，但其开源属性将为行业带来质的飞跃。
在模型规模扩展方面，Diffusion与Transformer架构呈现显著差距。目前最大的Diffusion模型参数规模约为70-80亿，而Transformer模型已突破万亿参数级别。"并非Diffusion不能Scale，而是实现成本过于高昂。"蒋路分析道，NLP领域经过五年、数百亿美元投入才实现模型规模的指数级增长，而模型扩展过程中的架构搜索成本、训练稳定性等问题都随规模呈几何级数增长。相比之下，将Diffusion的骨干网络替换为Transformer后，可直接复用NLP领域成熟的训练配方（Learning Recipes），大幅降低架构探索成本。
当被问及基于LLM架构的视频模型与多模态大语言模型（如GPT-4V）的本质区别时，蒋路指出："VideoPoet这类模型本质上仍是语言模型，其训练范式和模型框架与传统LLM完全一致，只是将输入'语言'扩展到视觉等其他模态。"在他看来，只要设计合适的模态表示方式，LLM能够自然理解并生成多种模态内容，"这就像教语言模型学习一门新外语，不需要重构模型架构，关键在于建立有效的模态映射机制。"
Transformer架构引领的视觉智能革命
VideoPoet与WALT项目的并行推进，体现了Google在视频生成领域的双线战略。前者作为基于语言模型的视频Foundation Model，旨在构建集成所有视频生成功能的统一框架；后者虽采用Diffusion架构，但坚持使用Transformer作为骨干网络。这两个项目共享Magvit V2的Tokenizer架构，成为实现卓越效果的技术基石。
该嘉宾简介卡片系统展示了蒋路的学术背景与研究贡献，作为Google研究科学家和卡内基梅隆大学兼职教授，其在生成式AI与多模态交叉领域的深耕为VideoPoet等突破性成果奠定了基础。这一背景信息有助于读者理解研究观点的权威性，同时展现了学术界与产业界在推动AI技术进步中的协同作用。
蒋路对Transformer架构的坚定信念源于早期研究实践。2019年接触NLP领域的Transformer模型后，他敏锐意识到其在视觉领域的巨大潜力："当时视觉领域仍以U-Net为主流，但我坚信Transformer的Scalability将彻底改变游戏规则。"在GAN架构主导的时代，他带领团队率先探索Transformer在图像生成中的应用，2022年发布的MaskGIT通过Mask Language Model方式实现图像生成，将并行解码效率提升64倍；2023年推出的Muse模型更是在与Stable Diffusion相同训练数据条件下，实现了生成质量和速度的双重超越。
"Muse当时的生成速度比Stable Diffusion快数倍，质量也略有优势。"蒋路回忆道，"如果当时选择开源，可能会形成Diffusion与Language Model路线并行发展的研究格局。"这一决策虽受多种因素制约，但并未动摇他对语言模型路线的信心。完成图像生成研究后，团队自然将目光转向视频领域，坚持"无论采用何种生成范式，必须基于Transformer架构"的技术路线。
这种坚持源于对视觉智能本质的深刻洞察。蒋路认为，当前图像生成模型解决的问题本质上仍停留在初级阶段："让模型生成'戴红色圣诞帽的狗'，相当于NLP中的词汇拼接水平，远未达到智能层面。"他提出的"Visual Intelligence"概念，强调视频生成应具备理解复杂任务目标、主动追问细节、创造性解决问题的综合能力。例如，面对创业者的融资路演视频需求，理想的AI系统应能理解融资目标、分析投资人背景、自动生成符合叙事逻辑的多模态演示内容，最终提升融资成功率。
实现这一目标的关键在于Tokenizer技术的突破。Magvit V2作为VideoPoet和WALT共享的Tokenizer架构，代表了团队三年半技术积累的结晶。其核心创新在于构建了视觉领域的"语言系统"，通过3D分词器将视频量化为时空视觉Token，并建立掩码视频Token建模机制。蒋路特别强调Spae论文中的"语义金字塔"思想："在压缩过程中构建多层级表示，上层保留核心语义，下层存储细节信息。理解任务可仅使用上层数据，生成任务则调用深层细节，这种灵活架构完美匹配了视觉智能的多样化需求。"
Tokenizer的革命性价值还体现在端侧应用场景。Magvit V2作为视频压缩模型时，其性能已超越H.265标准，接近H.266水平。"这为On-Device生成铺平了道路，"蒋路解释道，"传统视频编辑需要完整解码流程，而基于Token的处理可直接在压缩域操作，内存占用和处理延迟大幅降低。未来移动端视频编辑可能实现实时响应，生成与显示将融为一体。"
视觉智能的未来图景与技术挑战
展望视频生成领域的发展前景，蒋路预测Transformer架构将在3-5年内成为绝对主导："LLM可能是人类历史上首个触及AGI边缘的模型，其通过简单的'预测下一个Token'机制就能涌现出复杂智能，这种潜力在视觉领域同样值得期待。"他观察到，音乐生成、机器人控制等领域已呈现向语言模型架构收敛的趋势，视觉领域不太可能长期独立发展。
从工程角度看，统一模型架构将显著降低多模态系统的复杂度。"同时维护文本和视觉两套模型体系会带来巨大冗余，"蒋路指出，"未来Diffusion更可能作为辅助模块存在，核心生成能力将整合于Language Model内部。"这种整合不仅能降低工程成本，更能释放跨模态创作的全部潜力。
对于VideoPoet的未来发展，蒋路透露将考虑通过API或集成到Google生态产品的方式开放能力。在模型可控性方面，他认为随着Foundation Model性能提升，下游应用将自然获得更强的控制精度："StyleDrop在Muse上的表现证明，优质基础模型能显著降低应用开发难度。开源社区的创造力将基于新模型开发出远超当前想象的应用场景。"
模型扩展方面，VideoPoet的实验已验证Scaling Law的有效性：3亿、10亿和80亿参数模型在58亿Token数据集上的训练结果表明，规模增长带来时间一致性、提示遵循度、空间理解能力的全面提升。但蒋路也强调数据与模型规模的匹配重要性："小模型可配大数据集，但大模型必须匹配大规模数据才能发挥潜力。"
当前VideoPoet已展现出可控生成能力，要实现对话式精准控制，蒋路认为需突破模态理解与表达的双重瓶颈。"我们在Spae论文中发现，从未接触图像的LLM仅通过少量示例就能学会图像生成，这表明LLM本身具备跨模态学习潜力。"未来研究将聚焦如何让语言模型原生理解视觉模态，而非通过外接模块实现简单桥接。
当被问及视频编解码体系是否会被Token机制颠覆时，蒋路持谨慎乐观态度："理论上完全可行，但需突破现有基础设施的路径依赖。新方案必须在压缩率、解码速度、兼容性等方面全面超越传统标准，这需要社区持续优化。"他预测下一代视频技术将实现生成与显示的一体化，用户在手机上可实时混合编辑真实与生成内容，这种交互范式的革新可能成为推动变革的关键动力。
视频生成的"ChatGPT时刻"何时到来？蒋路给出了明确时间窗口："2024年底至2025年初，我们有望看到2-5秒的高质量可控视频生成，其成本低至几美分，质量达到好莱坞样片级别。"这一时刻的到来将不仅改变内容创作产业，更将重新定义人类与视觉信息的交互方式。而VideoPoet作为这一变革的先行者，正通过LLM架构的创新应用，逐步揭开视觉智能时代的序幕。
【免费下载链接】imagegpt-medium 项目地址: https://ai.gitcode.com/hf_mirrors/openai/imagegpt-medium
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
