<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[zzfive的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/zzfive</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; zzfive]]></copyright><item><title><![CDATA[Ovi-音视频生成模型]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/153423589</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/153423589</guid><author>zzfive</author><pubDate>Thu, 16 Oct 2025 23:04:58 +0800</pubDate><description><![CDATA[Ovi采用对称双主干网络设计，其音频分支与视频分支并行构建，且二者均基于完全相同的DiT架构。其中，视频分支由Wan2.2 5B模型初始化，而结构完全一致的音频分支则采用从头训练。因此，两个主干网络拥有相同数量的Transformer块、注意力头、注意力头维度以及前馈网络，实现了每一层级的对称性，具体细节如表 1 所示。表1 Ovi双主干网络的Transformer超参数每个Transformer块都包含成对的交叉注意力层：音频流会对视频流进行注意力计算，而视频流也会反过来对音频流进行注意力计算。]]></description><category></category></item><item><title><![CDATA[Qwen3-Omni]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/152456682</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/152456682</guid><author>zzfive</author><pubDate>Fri, 03 Oct 2025 16:03:15 +0800</pubDate><description><![CDATA[如图1所示，Qwen3-Omni采用 “思考者 - 对话者”（Thinker-Talker）架构。Thinker与Talker均采用MoE架构，以支持高并发处理与快速推理；Talker不再接收Thinker的高层级文本表征，仅以音频和视觉多模态特征作为条件（进行语音生成）。该设计的核心考量如下：（1）对于文本内容而言，离散token与嵌入向量在信息层面具有等效性；（2）多模态条件控制对于 “音视频协同语音生成” 至关重要，例如在语音翻译任务中需保持语音的韵律与音色。]]></description><category></category></item><item><title><![CDATA[文本编码--BPE]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/152179827</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/152179827</guid><author>zzfive</author><pubDate>Sat, 27 Sep 2025 22:21:46 +0800</pubDate><description><![CDATA[将输入文本拆分为单个字节重复查找并合并、替换字节对，继续合并关系重复步骤2，直到无法构建更多的合并最终构建有效词表，基于其可进行编解码self.bpe_merges = {} # 字典，key是元组，即合并的两个tokend_id，value是合并后的一个token_id"""Args:"""for i, char in enumerate(text): # 将文本中的空格替换为Ġ= 0:if char!]]></description><category></category></item><item><title><![CDATA[FramePack]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/151874456</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/151874456</guid><author>zzfive</author><pubDate>Fri, 19 Sep 2025 21:53:58 +0800</pubDate><description><![CDATA[本文提出了一种神经网络结构FramePack，旨在解决视频生成领域中下一帧预测模型面临的“遗忘 - 漂移”困境。FramePack会根据输入帧的重要性对其进行渐进式压缩，确保无论视频时长如何，总上下文长度都能收敛到一个固定的上限。这一目标通过为不同压缩率调整Transformer的分块核大小来实现。结合抗漂移采样方法，该方法通过提前确定的端点或反转的时间顺序融入双向上下文，能够在保持计算瓶颈不变的前提下，生成更长的视频。]]></description><category></category></item><item><title><![CDATA[Wan系列模型解析--S2V]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/151688925</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/151688925</guid><author>zzfive</author><pubDate>Sun, 14 Sep 2025 21:21:13 +0800</pubDate><description><![CDATA[当前SOTA的音频驱动角色动画方法在语音和歌唱场景表现较好，但在影视制作所需的精细角色互动、真实肢体动作及动态镜头等复杂元素上存在不足；为此，研究团队提出基于Wan构建的音频驱动模型Wan-S2V，其在影视场景中的表现力和保真度显著优于现有方法，通过与Hunyuan-Avatar、Omnihuman等前沿模型的大量实验对比，结果一致证明该模型性能更优，同时还探索了其在长视频生成和精准视频唇同步编辑中的应用。]]></description><category></category></item><item><title><![CDATA[Wan系列模型解析--VACE]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/151296683</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/151296683</guid><author>zzfive</author><pubDate>Sun, 07 Sep 2025 23:11:51 +0800</pubDate><description><![CDATA[DiT在生成高质量图像和视频方面已展现出强大的能力与可扩展性，进一步追求生成与编辑任务的统一需求也越来越明显，但由于视频合成对时空动态一致性存在内在需求，实现视频合成的统一方法仍面临挑战。本文提出 VACE，即一体化视频创作与编辑框架，该框架支持用户在单一平台内完成多种视频任务，包括图片生视频、视频编辑以及掩码引导的视频编辑。]]></description><category></category></item><item><title><![CDATA[Wan系列模型解析--详细架构图]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/151157371</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/151157371</guid><author>zzfive</author><pubDate>Wed, 03 Sep 2025 21:24:59 +0800</pubDate><description><![CDATA[注意点：]]></description><category></category></item><item><title><![CDATA[Flux.1系列模型解析--Kontext]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/150289854</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/150289854</guid><author>zzfive</author><pubDate>Tue, 12 Aug 2025 22:16:20 +0800</pubDate><description><![CDATA[Flux.1 Kontext是将图像生成和编辑任务统一的生成流匹配模型，其通过整合文本和图像输入中的语义上下文，生成全新的输出视图。Flux.1 Kontext采用简单的序列拼接，在单一的统一架构中同时处理局部编辑和生成式上下文任务；其在多轮操作中对物体和字符有较强的保留能力，相较于其他SOTA编辑模型生成速度也更快；为了验证上述改进，论文提出了KontextBench，包含1026个图像-提示词对数据，覆盖局部编辑、全局编辑、字符参考、风格参考和文本编辑五类任务。]]></description><category></category></item><item><title><![CDATA[Flux.1系列模型解析--Flux.1 Tools]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/149947937</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/149947937</guid><author>zzfive</author><pubDate>Tue, 05 Aug 2025 22:32:03 +0800</pubDate><description><![CDATA[Flux.1模型的基础能力已经很强，但是局部生成、控制生成等方面仍不足，bfl随进一步训练，开发了Flux.1 Tools系列模型，包含四个模型，具体情况如下。Fill：根据文本描述和二进制掩码编辑或扩展输入图像，即Inpainting和Outpainting，是一个基模型Redux：一个能对输入图片进行细微变化或调整的Adapter模型，可以和所有Flux.1基模型组合使用Depth：可接受条件图像的深度信息控制生成图片，有基模型或lora模型。]]></description><category></category></item><item><title><![CDATA[Flux.1系列模型解析--Flux.1]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/149812109</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/149812109</guid><author>zzfive</author><pubDate>Thu, 31 Jul 2025 19:32:58 +0800</pubDate><description><![CDATA[Flux.1模型有三个版本，分别是pro、dev和schnell，三个模型性能依次递减，但生图效率依次提高。dev和schnell基于pro模型蒸馏而来，pro模型只能通过api访问，而dev、shcnell模型可获取具体权重，bfl并没有对Flux.1系列模型架构进行过多展示，只表明基于多模态和并行扩散 Transformer 模块的混合架构，参数扩展到了12B；通过基于流匹配范式训练，且引入旋转位置编码和并行注意力层来提高模型性能并提升硬件效率。图1 Flux.1模型架构图。]]></description><category></category></item><item><title><![CDATA[RoPE简单解析]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/149756014</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/149756014</guid><author>zzfive</author><pubDate>Tue, 29 Jul 2025 21:23:51 +0800</pubDate><description><![CDATA[本文聚焦于RoPE（旋转位置编码）的实现原理与应用方式。文章首先通过二维复数旋转的数学推导，展示RoPE如何将位置信息融入词向量：通过旋转矩阵作用使点积计算仅与相对位置相关。针对高维向量实现，文中详细拆解了处理步骤：将d维向量视为d/2个复数对，每对采用不同旋转角度计算；同时给出基础旋转角公式θ_i=10000^(-2i/d)。在实现层面，文章介绍了维度变换与旋转矩阵乘法的具体操作流程，并提供了朴素实现代码示例，包括旋转矩阵生成和嵌入应用函数。这种实现方式能够有效在自注意力机制中引入相对位置信息，适用于各类]]></description><category></category></item><item><title><![CDATA[RLVR的一种扩展方案--RLPR论文阅读]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/149585855</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/149585855</guid><author>zzfive</author><pubDate>Wed, 23 Jul 2025 23:38:46 +0800</pubDate><description><![CDATA[可验证奖励的强化学习(Reinforcement Learning with Verifiable Rewards, RLVR)在提升大语言模型（LLMs）的推理能力方面展现出了良好潜力，但其依赖基于规则、准确答案或代码运行等可验证的硬奖励，使其很大程度上局限于数据和代码领域。为了解决此问题，本论文作者发现LLMs生成正确自由形式答案的内在概率能直接反应其对推理奖励的自我评估，即推理过程对得出争取答案的贡献程度；]]></description><category></category></item><item><title><![CDATA[早期SD模型控制生成方法]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/149485043</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/149485043</guid><author>zzfive</author><pubDate>Sun, 20 Jul 2025 17:05:54 +0800</pubDate><description><![CDATA[Stable Diffusion系列模型出现，极大推动了扩散模型、AI图片生成技术发展，但由于生成结果可控性差使得其主要流行于各种社区，难以直接应用于生产，不能实际落地。随着技术发展，模型基础能力越来越强，生成可控性也越来越好，但即使如今的Flux、SD3、MJ、GPT-4o等各系列模型中也没有完全解决此问题。在SD模型初期出现过各种提高控制性生成的方法，本文档对其中使用较广泛的三个进行简短说明。]]></description><category></category></item><item><title><![CDATA[大模型聊天模板]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/149306622</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/149306622</guid><author>zzfive</author><pubDate>Sun, 13 Jul 2025 10:34:53 +0800</pubDate><description><![CDATA[摘要： 聊天模板是用于结构化组织大模型对话数据的格式化规则，将用户、助手等角色信息通过特定标记（如特殊字符或Jinja模板）转换为模型训练时的统一输入格式。不同模型（如Alpaca、ChatML）的模板差异显著，例如使用[USER]或&lt;|im_start|&gt;等标记区分角色。模板不统一的原因包括研发团队的独立性、模型功能扩展（如多模态支持）的灵活性需求，以及避免硬性标准对创新的限制。尽管Hugging Face的transformers库已集成模板功能，但未正确匹配模板可能导致性能下降的静默错误。]]></description><category></category></item><item><title><![CDATA[CFG的前世今生]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/148777021</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/148777021</guid><author>zzfive</author><pubDate>Thu, 19 Jun 2025 22:53:21 +0800</pubDate><description><![CDATA[DDPM将扩散模型在图片生成任务中做work后，大量研究人员开始对其进行迭代。虽然DDPM论文证明了扩散模型在图片生成任务中的潜力，但是其整体性能，特别是“有条件生成”，相较于当时的GAN系列模型还是存在差距，直到Openai的这篇论文出现，扩散模型在有条件图片生成任务上超过了GANs，而这篇论文对上篇论文中的核心思想进行优化，提高模型的性能和计算效率，该方法就是目前在扩散模型生成领域广泛使用的CFG。]]></description><category></category></item><item><title><![CDATA[Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/148655175</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/148655175</guid><author>zzfive</author><pubDate>Sat, 14 Jun 2025 17:22:54 +0800</pubDate><description><![CDATA[本文提出的视觉自回归建模/VAR这种新范式，其将图像的自回归学习重新定义为从粗到细的“下一个尺度预测”或“下一个分辨率预测”，与常规的LLM预测下一个token的范式不同。VAR首次基于GPT架构的AR模型在图片生成方面超过了扩散模型，在 ImageNet 256×256 基准测试中，FID、IS分数均大幅提高，推理速度也快了将近20倍。实验证实，VAR在图像质量、推理速度、数据效率和可扩展性等多个维度由于DiT，且其具有明显的Scaling规律，在图像修复、外绘、编辑等下游任务中具有较好的泛化能力。]]></description><category></category></item><item><title><![CDATA[从扩散模型开始的生成模型范式演变--FM(2)]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/144335443</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/144335443</guid><author>zzfive</author><pubDate>Sat, 14 Dec 2024 15:10:37 +0800</pubDate><description><![CDATA[我认为是有的，只不过是隐式的，不明显。我认为Flow matching中的前向过程并不是向扩散模型中通过定义显式的加噪分布来进行的，而是从目标分布中的数据推导出先验分布中的数据这一流动作实现的。说到这里，可能有的读者已经意识到了我想表达的内容，即从上述公式(1)推导公式(2)的过程中，我们利用了流的可逆性质，因为流可逆，所以基于公式(1)，有。就是一个从标准正态分布中采样的一个随机噪声，就是先验分布中的一个数据样本，即我们在公式(2)的推导过程中其实是隐式的使用了一个从目标分布到先验分布的。]]></description><category></category></item><item><title><![CDATA[从扩散模型开始的生成模型范式演变--SDE(3)]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/144412403</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/144412403</guid><author>zzfive</author><pubDate>Thu, 12 Dec 2024 01:02:04 +0800</pubDate><description><![CDATA[在SDE的第二篇文章中提到过，SDE范式可以将DDPM和Score Matching整合到其范式中。起初笔者对这部分也不是很清晰，在看过B站Up主的视频后逐渐清晰，本文就基于该视频内容做一个文本性质的总结，感兴趣的读者可跳转到视频进一步了解。]]></description><category></category></item><item><title><![CDATA[从扩散模型开始的生成模型范式演变--FM(1)]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/144310839</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/144310839</guid><author>zzfive</author><pubDate>Sun, 08 Dec 2024 00:11:45 +0800</pubDate><description><![CDATA[ut​。]]></description><category></category></item><item><title><![CDATA[从扩散模型开始的生成模型范式演变--SDE(2)]]></title><link>https://blog.youkuaiyun.com/zzfive/article/details/144177612</link><guid>https://blog.youkuaiyun.com/zzfive/article/details/144177612</guid><author>zzfive</author><pubDate>Tue, 03 Dec 2024 00:01:54 +0800</pubDate><description><![CDATA[相信很多读者自己学习或在看完上一篇文章后，对SDE实际如何使用情况还是不清楚。其实，因为SDE是随机微分方程，所以其与DDPM中加噪的方差其实都是人为设定的，相当于超参数。所以在训练前就需要将SDE具体形式定义好，在此将SDE定义为dxσtdωt∈01(1)dxσtdωt∈011公式(1)中丢弃了SDE定义中的漂移部分，只设置了扩散部分。此时已将时间区间正则化，即范围为[0,1]，也知道了dxdxdx随时间变化的公式，因为当前加噪是连续过程，故xt。]]></description><category></category></item></channel></rss>