【生成模型之十四】Visual Autoregressive Modeling

原创 已于 2025-03-03 00:32:25 修改 · 1k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#AIGC #stable diffusion #扩散模型 #AR #视觉自回归模型

于 2025-02-08 21:15:04 首次发布
最低0.47元/天 解锁文章
Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
qq_42208244的博客
01-14 2098
提出了视觉自回归建模（VAR）[Visual AutoRegressive modeling]，这是一种新的生成范式，将图像上的自回归学习重新定义为由粗到细的“下一个尺度预测”或“下一个分辨率预测”，不同于标准的光栅扫描“下一个像素预测”。这种简单直观的方法允许自回归（AR）变压器快速学习视觉分布，并具有良好的泛化能力。VAR模型的扩展表现出类似于LLMs的明确幂律扩展规律，线性相关系数接近-0.998，作为坚实的证据。VAR还展示了在下游任务中的零样本泛化能力，包括图像修补、外扩和编辑。
Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction【小白读论文】
qq_46127363的博客
02-07 758
学习NIPS 2024 最佳论文 VAR
自回归图像生成VAR NeurIPS2024 | Visual Autoregressive Modeling
wsygxxn的博客
05-16 1271
Visual Autoregressive Modeling (VAR) 是一种创新的图像生成方法，通过“下一尺度预测”策略重新定义了自回归建模。传统方法通过下一个标记预测来生成图像，但存在数学前提违反、泛化能力受限、结构退化和效率低下等问题。VAR 通过将自回归单元从单个标记扩展到整个标记映射，解决了这些问题。它使用多尺度量化自动编码器将图像编码为多尺度离散标记映射，并通过块式因果注意掩码确保每个尺度只依赖于其前缀。VAR 的训练和推理过程显著提高了效率，生成复杂度从 O(n^6) 降低到 O(n^4)。
Visual Autoregressive Modeling: Scalable ImageGeneration via Next-Scale Prediction——视觉自回归建模
Together_CZ的博客
12-06 3042
Visual Autoregressive Modeling: Scalable ImageGeneration via Next-Scale Prediction 视觉自回归建模：通过下一步尺度预测实现可扩展的图像生成
论文阅读：Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
Matrix-11
12-15 3743
本文提出了视觉自回归建模（VAR），这是一种新的生成范式，它将图像上的自回归学习重新定义为从粗到细的 “下一级尺度预测” 或 “下一级分辨率预测”，有别于标准的光栅扫描 “下一个标记预测”。这种简单、直观的方法使自回归（AR）变换器能够快速学习视觉分布并能很好地泛化：VAR 首次让类似 GPT 风格的自回归模型在图像生成方面超越了扩散变换器。
【自回归视觉生成（VAR）】Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
Arachis_X的博客
04-10 3658
视觉自回归模型（VAR）将图像上的自回归学习重新定义为从粗到细的 "下一尺度预测 "或 “下一分辨率预测”，有别于标准的栅格扫描 “下一标记预测”。我们提出了**视觉自回归建模（VAR）**这一新一代范式，它将图像上的自回归学习重新定义为从粗到细的 "下一尺度预测 "或 “下一分辨率预测”，有别于标准的栅格扫描 “下一标记预测”。这种简单、直观的方法使自回归（AR）变换器能够快速学习视觉分布，并具有良好的泛化能力：VAR 首次使 AR 模型在图像生成方面超越了扩散变换器。
VAR:Visual Autoregressive Modeling: Scalable ImageGeneration via Next-Scale Prediction 论文解读
NPU 研0
12-21 1661
该论文提出了一种新的生成范式VAR视觉自回归模型，这种自回归模型实现coarse to fine的方法进行生成，或者说是next-scale prediction的方式，从低分辨率逐渐生成到高分辨率图像，并且将逐层拼接在一起。而这种生成的模型采用的是类似于GPT-style的transformers方法。而VAR在ImgaNet上做基于class-conditioned的工作，最终超过了AR，Diifsuion，Mask，GAN等基础生成模型架构。
（2024，自回归，下一尺度预测，VQGAN）视觉自回归建模：通过下一尺度预测的可扩展的图像生成
qq_44681809的博客
04-14 3085
​视觉自回归建模是一种重新定义图像自回归学习的新范式​。它通过将生成策略从传统图像生成的 “下一个 token 预测” 转变为粗到细的 “下一尺度预测”，来重新构想对图像上的自回归建模​。
视觉自回归建模: 基于下一尺度预测的可扩展图像生成
AI-cv-sharer
05-07 1764
论文: Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction项目: https://var.vision类 GPT 的视觉自回归模型在标度律（Scaling Laws）等方面并未被充分探索，且其图像生成性能远远落后于扩散模型（DiT 等）作为序列的语言依赖关系是单向的，但是二维图像的依赖关系是沿两个维度方向的，直接把语言自回归模型直接用于图像忽略了这种性质人类的视觉感知过程通常是由全局到局部细节
视觉生成范式 VAR: Visual Auto Regressive
liangdaojun的博客
04-27 573
测试阶段，采样得到的 token map 会借助 VQVAE 进行连续化、插值求和、解码，从而得到最终生成的图像。, rk)，分辨率从小到大。随后每一步，VAR 都基于历史所有的 token map 去预测下一个更大尺度的 token map。开源模型：https://huggingface.co/FoundationVision/var。开源代码：https://github.com/FoundationVision/VAR。论文链接：https://arxiv.org/abs/2404.02905。
【论文阅读笔记】VAR：Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
weixin_43357695的博客
12-12 2469
VAR,视觉自回归的大突破
字节新作：图像生成质量超越DiT
林夕
04-05 1274
综合以上内容，VAR模型通过创新的“下一尺度预测”方法，在图像生成领域取得了突破性进展，不仅性能超越了现有的强模型，还展现了与大型语言模型相似的缩放定律和零样本泛化能力，为视觉生成和统一学习提供了新的视角和工具。主张：VAR模型通过重新定义图像自回归学习为从粗糙到精细的“下一尺度预测”，与传统的栅格扫描“下一标记预测”不同，这种方法简单直观，使自回归变换器能够快速学习视觉分布，并在图像生成方面首次超越了扩散变换器。🌟每日更新最新高质量论文，关注我，时刻关注最新大模型进展。
NeurIPS 2024最佳论文，扩散模型的创新替代：基于多尺度预测的视觉自回归架构
deephub
01-10 5257
VAR系统在图像生成领域实现了方法论层面的重要创新，成功克服了传统自回归模型的多项技术局限。通过引入"下一尺度预测"范式，VAR不仅能够精确捕捉图像结构特征，还实现了高效率的高质量图像生成。VAR在可扩展性和零样本泛化能力方面的优势，预示着该技术将对图像生成领域产生深远影响。
【AIGC】comfyui解决qwen-image-edit像素偏移方案
qq_44091004的博客
12-10 177
链接: https://pan.baidu.com/s/105tPyZyeyPe8LGiwbed-kQ 提取码: jd7w。在1024像素下规范填充输入图像，在生成图像后，再根据mask重新缩放到理想尺寸。基于qwen-image-edit对1024像素值没有偏移情况。
AIGC赋能家居服品牌：从创意枯竭到内容涌现的跃迁
2506_94275435的博客
12-11 280
品牌得以用更低的成本、更快的速度，测试更多元的内容方向，最终找到与目标消费者共鸣的最强音，在市场中建立起鲜明且富有感染力的品牌形象。其核心在于通过“先知大模型私有化部署”，为家居服企业建立安全、专属的智能创作平台，所有产出均基于企业自身的产品库、用户反馈和品牌手册，确保内容的高度相关性与品牌一致性。无论是突出“抗菌面料”的科技卖点，还是渲染“亲子家居服”的温馨亲情，它都能提供多角度、多层级的表达方案，帮助品牌构建丰满而立体的内容矩阵，告别灵感枯竭的困境。在注意力稀缺的时代，家居服品牌的内容营销亟待升级。
先知AIGC洞察：家居服内容效率差距，被悄悄拉开了
wnsnsj的博客
12-12 323
我当时有点震惊，原来大家的“差距”已经悄悄形成了，而且不是因为谁更会拍，而是因为谁先把内容效率提上去了。上新节奏越来越快，素材需求量像泄洪一样往外冒，谁都知道内容重要，但很多团队根本没有时间去想“怎么做得更好”，每天只是在赶进度、救火、补坑。接入先知AI之后，他们把“场景拍摄”彻底从成本表里抽掉了，只保留模特 PG 素材，让系统自动生成各类场景。最近在跟家居服圈的朋友聊天，我听到最多的一句话是：“不是不会做内容，是根本做不过来了。现在家居服行业真正的分层，不再是体量大小，而是谁先把内容成本和效率做到可控。
【AIGC】ViMax：1: 解决痛点及UV环境配置
最新发布
突围
12-14 43
它很像一条“视频处理（抽帧/分镜/剪辑） + LLM/LangChain（理解/生成） + 向量检索Faiss（RAG/素材匹配） + 网络调用（多模型/网关/流式） + 结构化配置（pydantic）”的工作流。如果你把或项目要实现的核心功能（比如：视频分镜→生成分镜文案→检索素材→合成视频？）贴一小段，我可以按你的实际业务，把这些库进一步映射到“每一步会用到哪些库”。
AIGC Bar中的API站最新使用全指南（2025/12/12）
nmdbbzcl的博客
12-12 1018
不少桌面客户端的本质是“OpenAI API 的 UI 外壳”。只要它允许你填写自定义的 API Endpoint/Base URL，并支持自定义模型名列表，你就可以把它接到该站。类似的兼容思路也出现在其他平台的文档里：强调“接口完全兼容，所以很多应用只需要修改接口地址就可以使用”。虽然不同平台的控制台字段名不一样，但你要找的始终是同一类配置项。AIGC2D。
AIGC学习笔记（10）——AI大模型开发工程师
yangwei2048的博客
12-10 50
本文介绍了LangChain框架中的Memory模块，重点讲解了ConversationBufferMemory和ConversationBufferWindowMemory两种内存机制。Memory模块使AI对话系统能够存储和引用历史交互信息，支持读取和写入操作。ConversationBufferMemory存储所有对话记录，而ConversationBufferWindowMemory仅保留最近的K次交互，适合需要限制内存大小的场景。文章通过Python代码示例展示了两种内存的初始化、存储和加载方法，
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jeremy-Sky

你的鼓励是我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值