【生成模型之十四】Visual Autoregressive Modeling

原创 已于 2025-03-03 00:32:25 修改 · 1k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#AIGC #stable diffusion #扩散模型 #AR #视觉自回归模型

于 2025-02-08 21:15:04 首次发布
最低0.47元/天 解锁文章
视觉自回归建模: 基于下一尺度预测的可扩展图像生成
AI-cv-sharer
05-07 1760
论文: Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction项目: https://var.vision类 GPT 的视觉自回归模型在标度律（Scaling Laws）等方面并未被充分探索，且其图像生成性能远远落后于扩散模型（DiT 等）作为序列的语言依赖关系是单向的，但是二维图像的依赖关系是沿两个维度方向的，直接把语言自回归模型直接用于图像忽略了这种性质人类的视觉感知过程通常是由全局到局部细节
Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
qq_42208244的博客
01-14 2073
提出了视觉自回归建模（VAR）[Visual AutoRegressive modeling]，这是一种新的生成范式，将图像上的自回归学习重新定义为由粗到细的“下一个尺度预测”或“下一个分辨率预测”，不同于标准的光栅扫描“下一个像素预测”。这种简单直观的方法允许自回归（AR）变压器快速学习视觉分布，并具有良好的泛化能力。VAR模型的扩展表现出类似于LLMs的明确幂律扩展规律，线性相关系数接近-0.998，作为坚实的证据。VAR还展示了在下游任务中的零样本泛化能力，包括图像修补、外扩和编辑。
Visual Autoregressive Modeling: Scalable ImageGeneration via Next-Scale Prediction——视觉自回归建模
Together_CZ的博客
12-06 3021
Visual Autoregressive Modeling: Scalable ImageGeneration via Next-Scale Prediction 视觉自回归建模：通过下一步尺度预测实现可扩展的图像生成
Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction【小白读论文】
qq_46127363的博客
02-07 750
学习NIPS 2024 最佳论文 VAR
自回归图像生成VAR NeurIPS2024 | Visual Autoregressive Modeling
wsygxxn的博客
05-16 1264
Visual Autoregressive Modeling (VAR) 是一种创新的图像生成方法，通过“下一尺度预测”策略重新定义了自回归建模。传统方法通过下一个标记预测来生成图像，但存在数学前提违反、泛化能力受限、结构退化和效率低下等问题。VAR 通过将自回归单元从单个标记扩展到整个标记映射，解决了这些问题。它使用多尺度量化自动编码器将图像编码为多尺度离散标记映射，并通过块式因果注意掩码确保每个尺度只依赖于其前缀。VAR 的训练和推理过程显著提高了效率，生成复杂度从 O(n^6) 降低到 O(n^4)。
论文阅读：Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
Matrix-11
12-15 3716
本文提出了视觉自回归建模（VAR），这是一种新的生成范式，它将图像上的自回归学习重新定义为从粗到细的 “下一级尺度预测” 或 “下一级分辨率预测”，有别于标准的光栅扫描 “下一个标记预测”。这种简单、直观的方法使自回归（AR）变换器能够快速学习视觉分布并能很好地泛化：VAR 首次让类似 GPT 风格的自回归模型在图像生成方面超越了扩散变换器。
【自回归视觉生成（VAR）】Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
Arachis_X的博客
04-10 3641
视觉自回归模型（VAR）将图像上的自回归学习重新定义为从粗到细的 "下一尺度预测 "或 “下一分辨率预测”，有别于标准的栅格扫描 “下一标记预测”。我们提出了**视觉自回归建模（VAR）**这一新一代范式，它将图像上的自回归学习重新定义为从粗到细的 "下一尺度预测 "或 “下一分辨率预测”，有别于标准的栅格扫描 “下一标记预测”。这种简单、直观的方法使自回归（AR）变换器能够快速学习视觉分布，并具有良好的泛化能力：VAR 首次使 AR 模型在图像生成方面超越了扩散变换器。
VAR:Visual Autoregressive Modeling: Scalable ImageGeneration via Next-Scale Prediction 论文解读
NPU 研0
12-21 1642
该论文提出了一种新的生成范式VAR视觉自回归模型，这种自回归模型实现coarse to fine的方法进行生成，或者说是next-scale prediction的方式，从低分辨率逐渐生成到高分辨率图像，并且将逐层拼接在一起。而这种生成的模型采用的是类似于GPT-style的transformers方法。而VAR在ImgaNet上做基于class-conditioned的工作，最终超过了AR，Diifsuion，Mask，GAN等基础生成模型架构。
（2024，自回归，下一尺度预测，VQGAN）视觉自回归建模：通过下一尺度预测的可扩展的图像生成
qq_44681809的博客
04-14 3077
​视觉自回归建模是一种重新定义图像自回归学习的新范式​。它通过将生成策略从传统图像生成的 “下一个 token 预测” 转变为粗到细的 “下一尺度预测”，来重新构想对图像上的自回归建模​。
视觉生成范式 VAR: Visual Auto Regressive
liangdaojun的博客
04-27 567
测试阶段，采样得到的 token map 会借助 VQVAE 进行连续化、插值求和、解码，从而得到最终生成的图像。, rk)，分辨率从小到大。随后每一步，VAR 都基于历史所有的 token map 去预测下一个更大尺度的 token map。开源模型：https://huggingface.co/FoundationVision/var。开源代码：https://github.com/FoundationVision/VAR。论文链接：https://arxiv.org/abs/2404.02905。
【论文阅读笔记】VAR：Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
weixin_43357695的博客
12-12 2439
VAR,视觉自回归的大突破
字节新作：图像生成质量超越DiT
林夕
04-05 1263
综合以上内容，VAR模型通过创新的“下一尺度预测”方法，在图像生成领域取得了突破性进展，不仅性能超越了现有的强模型，还展现了与大型语言模型相似的缩放定律和零样本泛化能力，为视觉生成和统一学习提供了新的视角和工具。主张：VAR模型通过重新定义图像自回归学习为从粗糙到精细的“下一尺度预测”，与传统的栅格扫描“下一标记预测”不同，这种方法简单直观，使自回归变换器能够快速学习视觉分布，并在图像生成方面首次超越了扩散变换器。🌟每日更新最新高质量论文，关注我，时刻关注最新大模型进展。
NeurIPS 2024最佳论文，扩散模型的创新替代：基于多尺度预测的视觉自回归架构
deephub
01-10 5254
VAR系统在图像生成领域实现了方法论层面的重要创新，成功克服了传统自回归模型的多项技术局限。通过引入"下一尺度预测"范式，VAR不仅能够精确捕捉图像结构特征，还实现了高效率的高质量图像生成。VAR在可扩展性和零样本泛化能力方面的优势，预示着该技术将对图像生成领域产生深远影响。
Diff-MTS: Temporal-Augmented ConditionalDiffusion-Based AIGC
weixin_48372662的博客
12-01 1452
本文提出Diff-MTS模型解决工业多变量时间序列(MTS)数据生成难题。针对现有VAEs和GANs方法在真实性、训练稳定性及条件一致性方面的不足，创新性地结合扩散模型与条件自适应机制。核心贡献包括：(1)采用余弦噪声调度改进DDPM，保留更多时序信息；(2)设计Ada-MMD机制实现无分类器的条件对齐；(3)开发TDR-UNet网络，通过时序分解和注意力机制捕捉复杂依赖关系。实验表明，该模型能稳定生成高质量工业MTS数据，显著优于现有方法，为工业智能发展提供了有效数据支撑。
AIGC、Agent、MCP、A2A和AG-UI促进AI从基础能力到协同生态演进
智海观潮的博客
12-01 617
近年来，人工智能技术迎来爆发式发展，AIGC、Agent、MCP等概念相继涌现并快速迭代，推动AI从单一工具向协同生态演进，AI技术从“能对话”进化到“能干活”。2022年ChatGPT点燃了AIGC；Function Calling催生了Agent；再往后，行业发现「如何让模型低成本地调用外部世界」成为新瓶颈，于是MCP、A2A和AG-UI三大协议陆续登场。
工业制造企业数字化转型实践：基于AIGC技术的社媒矩阵运营系统重构
最新发布
Tezign_space的博客
12-04 636
摘要：本文以某TOP润滑油品牌为例，探讨传统制造企业如何通过AIGC技术重构社交媒体运营体系。针对内容生产周期长、多平台适配难等痛点，项目引入AI内容中台与智能体解决方案，构建包含数据底座、AI生产工作流和智能分发三层的技术架构。系统整合CV、NLP、ASR等技术实现素材结构化，通过AI混剪、数字人驱动等模式提升效率，最终使单条内容生产周期缩短75%，成本降低60%。案例证明AIGC技术赋能传统行业的价值在于系统化整合技术模块，实现人机协同的数字化转型。
Sampler AI + 滤波算法：解决 AIGC 贴图“噪点过剩”，构建风格化 PBR 工业管线
海外旅居设计师，15年设计经验。
12-02 765
今天跟各位同学分享的，就是基于 Adobe Substance 3D Sampler 与 Firefly 的“频段分离”工作流。它能让你保留 AI 的创意构图，同时获得纯净的风格化材质表现。
AIGC查重工具有什么？学术写作的“防撞指南”来了
2501_94097580的博客
12-01 620
我曾用免费版检测一篇3000字的课程论文，系统不仅标出了12%的重复率，还在AIGC报告中指出“第三章结论部分AI生成概率63%，建议增加个人分析”。我曾用ChatGPT改写一段实验方法，结果用PaperPass的AIGC检测时，系统直接标红“该段落AI生成概率达87%”，并提示“逻辑连贯但缺乏人类写作的个性化表达”。我能否用自己的语言说得更好？案例：我导师曾用Turnitin检测一篇投稿论文，系统不仅标出了AI生成段落，还对比了该段落与GPT-4训练数据的相似度，最终论文因“AI代写嫌疑”被拒稿。
多Stream并发实战：用流水线技术将AIGC服务P99延迟压降63%
云雾J视界的博客
12-02 1014
本文基于阿里云真实案例，通过多Stream流水线与CUDA Graph优化语音识别服务，在T4上实现QPS从45到126、P99延迟降低63%。方案将流程拆为CPU预处理、GPU频谱转换和Transformer推理三阶段，用独立Stream并行执行，并以事件同步和Graph固化消除调度开销，GPU利用率提升至82%。提供可复现代码与部署方案。
五种深度生成模型原理与代码实现对比
本文围绕“5种生成模型对比[项目源码]”这一主题，系统性地探讨了当前深度学习领域中最具代表性的五类生成模型：变分自编码器（VAE）、生成对抗网络（GAN）、自回归模型（AR）、流模型（Flow）以及扩散模型...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jeremy-Sky

你的鼓励是我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值