大模型论文 | 字节新型大模型并行策略发布，图像生成狂飙9.5倍速！_parallelized autoregressive visual generation-优快云博客

本文链接：https://blog.youkuaiyun.com/Code1994/article/details/144690143

1. Parallelized Autoregressive Visual Generation

自回归模型已成为视觉生成任务的一个强大方法，但由于其逐个token的预测过程，它们遭受了缓慢的推理速度。在本文中，我们提出了一种简单有效的并行生成策略，用于并行化的自回归视觉生成，该方法在提高生成效率的同时保留了自回归建模的优势。我们的关键是并行生成依赖于视觉token之间的依赖关系——弱依赖关系的token可以并行生成，而强依赖关系的相邻token难以一起生成，因为它们的独立采样可能导致不协调。基于这一观察，我们开发了一种并行生成策略，该策略并行生成具有弱依赖关系的远处token，同时为强依赖关系的局部token保持顺序生成。我们的方法可以无缝地集成到标准的自回归模型中，无需修改架构或分词器。在ImageNet和UCF-101上的实验表明，我们的方法在保持相似质量的同时实现了3.6倍的速度提升，并且在图像和视频生成任务中最多可实现9.5倍的速度提升，质量下降最少。我们希望这项工作能激发未来在高效视觉生成和统一自回归建模方面的研究。项目页面：https://epiphqny.github.io/PAR-project。

论文: https://arxiv.org/pdf/2412.15119

2. SCOPE: Optimizing Key-Value Cache Compression in Long-context Generation

在这里插入图片描述

键值（KV）缓存已成为长上下文生成中大语言模型（LLMs）的瓶颈。尽管在这个领域投入了大量努力，但解码阶段的优化往往被忽视。然而，我们认为这种优化至关重要，特别是在以下两个基础上：（i）预填充阶段过度压缩，需要特定的完整上下文会妨碍推理任务的理解；（ii）在长输出的推理任务中，重击项会出现偏差。因此，本文提出了SCOPE，这是一个简单而有效的框架，分别在预填充和解码阶段进行KV缓存优化。具体来说，在预填充阶段保留KV缓存以保持必要的信息，而在解码阶段提出了一种基于滑动的新策略来选择必要的重击项。进一步通过自适应和断续策略优化内存使用和内存传输。在LongGenBench上的广泛实验表明，SCOPE的有效性、泛化能力和与其他仅预填充KV压缩方法的兼容性。

论文: https://arxiv.org/pdf/2412.13649

3. CLEAR: Conv-Like Linearization Revs Pre-Trained Diffusion Transformers Up

扩散transformer（DiT）已成为图像生成的领先架构。然而，注意力机制的二次复杂度，负责建模token之间的关系，导致在生成高分辨率图像时存在显著的延迟问题。为解决这个问题，本文旨在提出一种线性注意力机制，将预训练的DiTs的复杂性降低到线性。我们从现有高效注意力机制的全面总结出发，并确定了四个关键因素，对于成功线性化预训练的DiTs至关重要：局部性、公式一致性、高秩注意力图和特征完整性。基于这些见解，我们提出了一种类似于卷积的局部注意力机制，称为CLEAR，该机制将特征交互限制在一个围绕每个查询token的局部窗口内，从而实现线性复杂度。我们的实验表明，通过仅在10K个自我生成样本上微调注意力层10K次，我们可以有效地将知识从一个预训练的DiT转移到一个具有线性复杂性的学生模型中，生成的结果与教师模型相当。同时，它将注意力计算减少了99.5%，并且在生成8K分辨率图像时加速了6.3倍。此外，我们还研究了蒸馏注意力层的一些有利特性，如跨不同模型和插件的零样本泛化能力，以及增强的多GPU并行推理支持。模型和代码可在此处获得：https://github.com/Huage001/CLEAR。

论文: https://arxiv.org/pdf/2412.16112

4. Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis

在这里插入图片描述

我们提出了一种新的多模态联合训练框架MMAudio，用于在给定视频和可选文本条件下合成高质量和同步的音频。与仅依赖于有限视频数据的单模态训练不同，MMAudio与大量、易于获取的文本-音频数据联合训练，以学习生成语义对齐的高质量音频样本。此外，我们通过采用流动匹配目标进行训练，采用一个条件同步模块，在帧级将视频条件与音频潜在变量对齐，以提高音频-视觉同步性。MMAudio在公开模型中以音频质量、语义对齐和音频-视觉同步性方面达到新的视频到音频的最新水平，具有较低的推理时间（生成8秒片段需要1.23秒）和仅157M参数。MMAudio在文本到音频生成方面也表现出竞争性能，表明联合训练不会妨碍单模态性能。代码和演示可在以下网址获得：https://hkchengrex.github.io/MMAudio

论文: https://arxiv.org/pdf/2412.15322

5. TRecViT: A Recurrent Video Transformer

我们提出了一种用于视频建模的新模块。它依赖于时间-空间-通道因子分解，并为每个维度配备了专用模块：门控线性递归单元（LRUs）执行时间上的信息混合，自注意力层执行空间上的信息混合，而MLP则在通道上进行操作。由此产生的架构TRecViT在稀疏和密集任务上表现良好，在监督学习或自我监督学习中进行训练。值得注意的是，我们的模型是因果性的，并在大规模视频数据集（SSv2，Kinetics400）上优于或与纯注意力模型ViViT-L相当，同时参数量仅为其三分之一，内存占用量仅为其1/12，计算量仅为其1/5。代码将在以下网址提供： https://github.com/google-deepmind/trecvit。

论文: https://arxiv.org/pdf/2412.14294

6. Offline Reinforcement Learning for LLM Multi-Step Reasoning

提高大语言模型（LLMs）的多步推理能力对于快速适应复杂任务非常重要，这需要通过离线强化学习（RL）来实现。虽然直接偏好优化（DPO）有助于使LLMs与人类偏好保持一致，但它不太适合多步推理任务，因为（1）DPO依赖于成对的偏好数据，而这些数据对于多步推理任务来说并不容易获得；（2）它对所有文本处理一致，使其在多步推理任务中的信用分配无效，而这些任务通常具有稀疏奖励。在本文中，我们提出了OREO（Offline Reasoning Optimization），一种用于增强LLM多步推理的离线RL方法。基于最大熵强化学习的先前研究，它通过优化软贝尔曼方程，同时学习策略模型和价值函数。我们原则上证明了它减少了收集成对数据的需求，并能够更好地进行信用分配。实验表明，OREO在包括数学推理任务（GSM8K、MATH）和实体Agent控制（ALFWorld）的多步推理基准测试中，超过了现有的离线学习方法。当有额外资源时，该方法可以扩展到多迭代框架中。