Infinity vs SD3-Medium vs SDXL:GenEval 0.73、ImageReward 0.96凭什么登顶自回归文生图模型?

  • 人工智能
  • 深度学习
  • 计算机视觉
  • 媒体生成

【免费下载链接】Infinity

项目地址: https://ai.gitcode.com/hf_mirrors/FoundationVision/Infinity
点击查看 免费下载

Infinity 是字节跳动开源的自回归(AutoRegressive)文生图模型,通过"位级(Bitwise)建模 + 无限词表"的路线,在 GenEval 上把分数从 SD3-Medium 的 0.62 提升到 0.73,ImageReward 从 0.87 提升到 0.96,并在 0.8 秒内生成 1024×1024 图片——比 SD3-Medium 快 2.6 倍,是迄今最快的文生图模型之一。🚀

当前仓库是 Infinity 的官方权重托管仓库,包含 125M、2B、8B 三个规格的模型权重和 6 种 VAE 权重,本文带你一文看懂它凭什么是自回归文生图的标杆。

自回归文生图是什么?和扩散模型差在哪?

先给新手补个背景:

  • 扩散模型(Diffusion):如 SDXL、SD3-Medium,把图片加噪再逐步"去噪"还原,需要几十步迭代,天然偏慢;
  • 自回归模型(AutoRegressive):像写文字一样"一个 token 接一个 token"地把图片序列逐个预测出来,结构上更接近大语言模型(LLM)。

传统自回归图像模型(如 VAR、MAR)受制于词表大小——词表越大,分类头计算量爆炸,很难规模化。Infinity 的做法是Bitwise(逐位)预测:不再从有限词表里挑一个 token,而是直接预测每个 token 的二进制位,配合"bitwise self-correction"(位级自校正),把词表理论上扩展到无限大,从而让 Transformer 可以跟着无限 scale。📈

硬指标对比:GenEval 0.73 和 ImageReward 0.96 有多强?

根据 README.md 中的官方数据,Infinity 与两大主流文生图模型的对比如下:

模型GenEval(越高越好)ImageReward(越高越好)相对 Infinity 胜率
Infinity(8B)0.730.96—
SD3-Medium0.620.8734%
SDXL落后落后落后

几个值得记住的结论:

  1. GenEval 考察的是文本对齐与物体计数、位置关系等组合能力,Infinity 比 SD3-Medium 高出 0.11,刷新自回归文生图纪录;
  2. ImageReward 综合人评偏好,0.96 意味着生成图的整体观感已超越同梯队扩散模型;
  3. 速度:无额外优化下 0.8 秒生成一张 1024×1024 图片,比 SD3-Medium 快 2.6 倍,对实时预览、批量出图场景意义重大。

一句话总结:质量打赢 SD3-Medium,速度打赢所有对手。

权重清单:125M 到 8B,总有一款适合你

本仓库托管了完整的 Infinity 检查点,按"小模型 → 旗舰模型 → VAE"三档组织:

1️⃣ 模型主权重(不同规模/分辨率)

规格文件说明
125M @ 256×256infinity_125M_256x256.pth入门/教学用轻量版
2B(regularized)infinity_2b_reg.pth中等规模版本
8B @ 512×512infinity_8b_512x512_weights/512 分辨率 8B 权重(8 个分片)
8B 旗舰版infinity_8b_weights/1024×1024 主力模型(4 个分片)

以旗舰 8B 为例,从 model.safetensors.index.json 可以看到:

  • 总参数体量约 33.5 GB(bf16 下约 81 亿参数);
  • 主干由 8 个 block(block_chunks.0 ~ block_chunks.7)堆叠,每个 block 内含自注意力(sa)、交叉注意力(ca)和 FFN 三层结构——典型的"文本 → 图像 token"自回归 Transformer 设计;
  • 索引文件里还能找到 word_embed(词嵌入)、head(输出头)、cfg_uncond(Classifier-Free Guidance 用的无条件嵌入)等自回归文生图模型的标志性组件。

💡 小仓库说明:仓库中部分大文件当前以 Git LFS 指针形式存在,完整二进制权重请以下载后实际文件大小为准。

2️⃣ VAE 权重(不同下采样/正则化方案)

Infinity 配套了 6 种 VAE,覆盖不同压缩率和正则化策略,研究者可按实验需要选择:

此外,仓库根目录的 config.json 仅用于声明仓库名称 Infinity,方便权重平台识别。

如何获取 Infinity 权重?

本仓库专注权重托管,推理与训练代码在官方代码仓库中维护。下载全部权重只需一条命令:

git clone https://gitcode.com/hf_mirrors/FoundationVision/Infinity

克隆完成后,建议优先使用 8B 旗舰版(infinity_8b_weights/)体验 1024×1024 的生成效果;显存有限时,可先用 infinity_125M_256x256.pth 打通整个推理流程。⚡

谁该关注 Infinity?选型建议

  • 想体验"LLM 式"生成图片的研究者:Bitwise 无限词表是目前自回归图像生成中最激进的 scaling 路线,值得深入复现;
  • 追求极速出图的工程团队:0.8 秒/张的速度在实时预览、交互式生成场景几乎无对手;
  • 扩散模型重度用户:如果你已经在用 SDXL / SD3 生态,Infinity 提供了"同样画质、更快速度"的替代选项,尤其是 GenEval 这类组合生成任务上表现更稳。

写在最后

Infinity 用位级自回归 + 无限词表证明了:文生图赛道不再只有扩散模型一条路。GenEval 0.73、ImageReward 0.96、2.6 倍速——三个数字背后,是自回归范式第一次在质量和速度上同时登顶。想亲手验证?克隆仓库、加载 8B 权重,一张 1024×1024 的图片 0.8 秒就会出现在你屏幕上。🎨

  • 人工智能
  • 深度学习
  • 计算机视觉
  • 媒体生成

【免费下载链接】Infinity

项目地址: https://ai.gitcode.com/hf_mirrors/FoundationVision/Infinity
点击查看 免费下载

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值