<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[孙佰贵的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/sunbaigui</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; sunbaigui]]></copyright><item><title><![CDATA[FaceChain团队NeurIPS 2024新作TopoFR，拓扑对齐的人脸表征模型]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/143230746</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/143230746</guid><author>sunbaigui</author><pubDate>Tue, 29 Oct 2024 08:30:00 +0800</pubDate><description><![CDATA[当前人脸识别研究集中于设计高效的基于Margin损失函数和复杂的网络架构，以提升卷积神经网络捕捉人脸细节特征的能力。无监督学习和图神经网络的成功显示了数据结构对模型泛化能力的重要性。尽管大规模人脸识别数据集包含丰富的结构信息，但目前尚无研究探讨如何利用这些信息提升模型在实际场景中的泛化性能。本文提出TopoFR，将大规模人脸数据集中的内在结构信息融入隐层空间，以显著提高人脸识别模型在真实环境中的泛化能力。]]></description><category></category></item><item><title><![CDATA[FaceChain风格广场发布：开源自定义人像写真风格LoRA模型训练，海量风格共享社区一键式调用，1张照片10秒钟生成风格化写真]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/140475981</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/140475981</guid><author>sunbaigui</author><pubDate>Wed, 17 Jul 2024 07:45:00 +0800</pubDate><description><![CDATA[为了进一步拓展写真风格的多样性和使用便捷性，在最新版本的FaceChain中，开源了人像写真风格LoRA模型的自定义训练和共享功能，通过将模型上传至风格广场的形式，使得海量写真风格实现共享社区一键式调用，走向风格化人像写真新纪元。]]></description><category></category></item><item><title><![CDATA[探索视频合成新境界：加快加长视频生成，PAB加速与ExVideo延展技术介绍]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/140184904</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/140184904</guid><author>sunbaigui</author><pubDate>Fri, 05 Jul 2024 07:30:00 +0800</pubDate><description><![CDATA[随着人工智能技术的不断进步，视频合成领域正迎来前所未有的发展机遇。本文介绍近期两项视频生成方向的创新技术：PAB（Pyramid Attention Broadcast）和ExVideo。这两篇文章合在一起主要介绍如何提升视频生成的速度与长度（当前视频生成主要瓶颈方向之一），从而实现更加高效和多样化的视频内容创作。]]></description><category></category></item><item><title><![CDATA[Cambrian-1：探索以视觉为中心的多模态LLM新纪元]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/140013480</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/140013480</guid><author>sunbaigui</author><pubDate>Fri, 28 Jun 2024 07:30:00 +0800</pubDate><description><![CDATA[本文提出Cambrian-1，这是一系列以视觉为中心的多模态大型语言模型(MLLMs)，由谢赛宁与LeCun领导的团队研发，主张通过强化视觉表征来提升MLLM性能，而非仅增强语言模型。Cambrian-1通过评估20多种视觉编码器，提出新的基准CV-Bench，旨在改善视觉基础，与Mini-Gemini以及LLaVA-NeXT相比，性能有显著提升。]]></description><category></category></item><item><title><![CDATA[CVPR最佳论文：谷歌基于Spectral Volume从单图生成视频]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/139854991</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/139854991</guid><author>sunbaigui</author><pubDate>Fri, 21 Jun 2024 11:28:31 +0800</pubDate><description><![CDATA[本文提出了一种新颖的方法来模拟场景运动的图像空间先验。通过从真实视频序列中提取的自然振荡动态（如树木、花朵、蜡烛和衣物随风摆动）学习运动轨迹，作者将长期运动建模为傅里叶域中的频谱体积。给定单张图片，训练好的模型使用频率协调的扩散采样过程预测频谱体积，进而转换为整个视频的运动纹理。结合基于图像的渲染模块，预测的运动表示可以用于多种应用，例如将静态图像转换为无缝循环视频，或允许用户与真实图像中的对象进行交互，产生逼真的模拟动态。]]></description><category></category></item><item><title><![CDATA[CVPR最佳论文：探索RAHF模型捕捉人类反馈在T2I领域的创新实践]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/139826235</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/139826235</guid><author>sunbaigui</author><pubDate>Thu, 20 Jun 2024 11:53:57 +0800</pubDate><description><![CDATA[这篇论文由加州大学圣地亚哥分校、谷歌研究院等机构的研究人员合作完成，专注于文本到图像生成模型的改进。针对生成图像中存在的伪影、与文本不一致和美学质量问题，研究团队采用丰富人类反馈信号的方法，通过标记图像问题区域和文本中未准确表示的词汇，收集了18,000张图像的反馈（RichHF-18K）。他们训练了一个多模态变换器模型，自动预测反馈以提升图像生成质量，该方法在Muse等模型上验证了其有效性和泛化能力。研究还计划公开数据集，促进社区研究。]]></description><category></category></item><item><title><![CDATA[视频与音频的交响：探索达摩院VideoLLaMA 2的技术创新]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/139794652</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/139794652</guid><author>sunbaigui</author><pubDate>Wed, 19 Jun 2024 10:32:36 +0800</pubDate><description><![CDATA[VideoLLaMA 2是阿里巴巴DAMO Academy团队开发的视频大型语言模型，专注于提升视频和音频任务的空间-时间建模与音频理解。该模型引入了新的时空卷积连接器，强化了对视频时空动态的捕捉能力，并通过联合训练集成音频分支，增强了多模态理解。在MC-VQA、OE-VQA和VC任务中，VideoLLaMA 2展现了与顶尖开源模型相媲美的性能，接近一些专有模型。]]></description><category></category></item><item><title><![CDATA[图像生成新篇章：Stable Diffusion 3 Medium开源评析]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/139657666</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/139657666</guid><author>sunbaigui</author><pubDate>Fri, 14 Jun 2024 08:00:00 +0800</pubDate><description><![CDATA[在数字艺术与AI的交汇处，Stable Diffusion 3（SD3）Medium版本的开源标志着技术革新的新篇章。继3月份我在优快云上发表的SD3技术博文后，这一新里程碑的实现，展示了AI在图像生成领域的显著进步。通过Hugging Face平台的开源，SD3 Medium不仅为艺术创作提供了新土壤，也推动了文生图社区的发展。尽管存在挑战，社区的协作和技术创新将不断解锁创造潜力，引领我们进入数字艺术的新纪元。]]></description><category></category></item><item><title><![CDATA[Bengio新作Aaren：探索Transformer性能与RNN效率的融合]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/139408311</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/139408311</guid><author>sunbaigui</author><pubDate>Tue, 04 Jun 2024 08:00:00 +0800</pubDate><description><![CDATA[本文提出了一种新的注意力机制，名为Aaren，它将注意力视为一种特殊的递归神经网络（RNN），能够高效地计算其多对一RNN输出。Aaren不仅能够并行训练，而且能够在推理时高效地更新新令牌，仅需要常数内存。实验表明，Aaren在四个流行的序列问题设置（强化学习、事件预测、时间序列分类和时间序列预测）的38个数据集上与Transformer性能相当，同时在时间和内存效率上更胜一筹。]]></description><category></category></item><item><title><![CDATA[FaceChain-FACT：开源10秒写真生成，复用海量LoRa风格，基模友好型写真应用]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/139268637</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/139268637</guid><author>sunbaigui</author><pubDate>Wed, 29 May 2024 08:00:00 +0800</pubDate><description><![CDATA[FaceChain-FACT：开源10秒写真生成，复用海量LoRa风格，基模友好型写真应用。FaceChain-FACT的代码和模型目前已经在github和modelscope创空间上同步开源。FaceChain-FACT具有简单的交互式界面设计，只需一张人物形象图片和简短的操作，即可实现无限风格写真和固定模板写真的生成。同时，FaceChain-FACT还支持包括指定人物姿态、自定义风格LoRA模型、以及多人模板写真等进阶功能。]]></description><category></category></item><item><title><![CDATA[Lumina-T2X：大型扩散DiTs在多模态内容生成中的新篇章]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/139137969</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/139137969</guid><author>sunbaigui</author><pubDate>Thu, 23 May 2024 10:23:39 +0800</pubDate><description><![CDATA[Lumina-T2X是由上海人工智能实验室开发的基于流匹配的扩散变换器（Flag-DiT）系列，它能够根据文本指令生成图像、视频、3D对象和音频。该框架通过标记化潜在的空间时间并使用如[nextline]和[nextframe]的占位符，实现了不同模态和分辨率的统一表示。Lumina-T2X允许在单一框架内训练不同模态，并在推理时灵活生成多模态数据。集成了DiTs、流匹配、RoPE和RMSNorm等技术，它支持高达70亿参数的模型，上下文窗口可达128K标记。Lumina-T2I模型，以5亿参数运行，训练成]]></description><category></category></item><item><title><![CDATA[视觉叙事的艺术：StoryDiffusion打造一致性图像/视频故事创作]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/138916754</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/138916754</guid><author>sunbaigui</author><pubDate>Thu, 16 May 2024 07:30:00 +0800</pubDate><description><![CDATA[本文提出了一种名为StoryDiffusion的新方法，用于生成一系列内容一致的图像和视频，特别是那些包含主体和复杂细节的图像。StoryDiffusion通过两种新颖的组件来实现这一目标：Consistent Self-Attention（一致性自注意力）和Semantic Motion Predictor（语义运动预测器）。]]></description><category></category></item><item><title><![CDATA[试衣不再有界：Tunnel Try-on开启视频试衣应用新纪元]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/138706402</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/138706402</guid><author>sunbaigui</author><pubDate>Mon, 13 May 2024 07:30:00 +0800</pubDate><description><![CDATA[本文介绍了“Tunnel Try-on”，一种创新的视频虚拟试衣框架，专注于解决复杂场景下的试衣挑战。该框架通过在视频中创建一个“聚焦隧道”来放大服装区域，有效捕捉服装细节。结合卡尔曼滤波器和注意力层的位置嵌入技术，Tunnel Try-on生成的视频动作流畅且连贯。此外，环境编码器的引入进一步丰富了背景上下文，提升了整体试衣效果。这一技术突破不仅提升了试衣视频的质量，也为电商和时尚行业带来了新的应用前景，同时为虚拟试衣技术的未来发展指明了方向。]]></description><category></category></item><item><title><![CDATA[一步成像：Hyper-SD在图像合成中的创新与应用]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/138575650</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/138575650</guid><author>sunbaigui</author><pubDate>Thu, 09 May 2024 08:00:00 +0800</pubDate><description><![CDATA[在生成人工智能领域，扩散模型（Diffusion Models, DMs）因其出色的图像生成质量而备受关注，但其多步骤推理过程的高计算成本一直是其广泛应用的瓶颈。本文介绍的Hyper-SD框架是来自字节的一篇工作，通过创新的轨迹分割一致性蒸馏（Trajectory Segmented Consistency Distillation, TSCD）技术，显著提升了图像合成的效率，同时保持了生成图像的高质量。]]></description><category></category></item><item><title><![CDATA[VASA-1：实时音频驱动的数字人说话面部视频生成技术]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/138189324</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/138189324</guid><author>sunbaigui</author><pubDate>Fri, 26 Apr 2024 08:00:00 +0800</pubDate><description><![CDATA[本文介绍了 VASA-1，这是一个由 Microsoft Research Asia 开发的框架，用于生成逼真的、音频驱动的说话（面部）视频。VASA-1 能够根据单一静态图像和语音音频片段生成具有视觉情感技能（Visual Affective Skills, VAS）的说话视频。该模型不仅能够产生与音频精确同步的唇部运动，还能捕捉到广泛的面部微妙表情和自然头部运动，从而增强真实感和生动感。从方法与效果上来讲，VASA-1都具有较大的突破，为虚拟人交互、虚拟人面部视频生成、AI译片等都提供了更为坚实的基础。]]></description><category></category></item><item><title><![CDATA[VAR：自回归家族文生图新SOTA，ImageNet上超越Diffusion与DiTs]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/137863261</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/137863261</guid><author>sunbaigui</author><pubDate>Wed, 17 Apr 2024 10:57:51 +0800</pubDate><description><![CDATA[本文提出了一种名为视觉自回归（VAR）建模的新范式，它通过将图像的自回归学习重新定义为“下一尺度预测”。VAR模型采用多尺度VQ-VAE来编码图像，并利用自回归Transformer来学习图像的分布。这种方法不仅提高了图像生成的质量，还显著加快了推理速度。VAR模型在ImageNet 256×256基准测试中的表现超越了现有的自回归和扩散模型，其FID和IS分别达到了1.80和356.4，同时推理速度提升了20倍。文章中甚至做了与DiTs相同量级参数的对比，指标上也有明显优势。]]></description><category></category></item><item><title><![CDATA[Mini-Gemini: 探索多模态视觉语言模型的新境界]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/137788897</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/137788897</guid><author>sunbaigui</author><pubDate>Tue, 16 Apr 2024 08:00:00 +0800</pubDate><description><![CDATA[最近，一篇名为“Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models”的文章在arXiv上发表，为我们展示了一个简单而有效的框架，旨在提升多模态视觉语言模型（VLMs）的性能。它即能直接提升图像感知能力，也能作为多模态环境下图像生成任务的前置prompt生成器。主要探索了如何增强图像全局感受野，以及探索了如何融合现有ocr工具来增强图像中文本感知能力。]]></description><category></category></item><item><title><![CDATA[视觉AIGC元年：技术大爆炸！Dalle-3、Sora、Stable Diffusion 3 掀起AIGC新浪潮，究竟有哪些模块值得借鉴！]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/136898729</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/136898729</guid><author>sunbaigui</author><pubDate>Thu, 21 Mar 2024 10:06:16 +0800</pubDate><description><![CDATA[随着科技的飞速发展，我们迎来了视觉AIGC高光时刻，一个充满无限可能与机遇的新时代。在这个时代里，三大里程碑Dalle-3、Sora和Stable Diffusion 3以其炸裂式的技术发展，引领着AIGC领域的新浪潮。文章首先做相应简要介绍，后半部分着重做新兴技术拆解分析，看看究竟哪些模块值得借鉴！]]></description><category></category></item><item><title><![CDATA[AIGC元年大模型发展现状手册]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/136799366</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/136799366</guid><author>sunbaigui</author><pubDate>Mon, 18 Mar 2024 09:53:49 +0800</pubDate><description><![CDATA[AIGC大模型在人工智能领域取得了重大突破，涵盖了LLM大模型、多模态大模型、图像生成大模型以及视频生成大模型等四种类型。这些模型不仅拓宽了人工智能的应用范围，也提升了其处理复杂任务的能力。a.) LLM大模型通过深度学习和自然语言处理技术，实现了对文本的高效理解和生成；b.) 多模态大模型则能够整合文本、图像、声音等多种信息，实现跨模态的交互和理解；c.) 图像/视频生成大模型则进一步将AI技术应用于视觉内容创作，为用户提供了全新的创作以及内容消费体验。本文将做相关技术内容展开讨论与纪要。]]></description><category></category></item><item><title><![CDATA[【NeurIPS】解决离线强化学习中的互模拟缺陷，FaceChain团队联合出品]]></title><link>https://blog.youkuaiyun.com/sunbaigui/article/details/136702821</link><guid>https://blog.youkuaiyun.com/sunbaigui/article/details/136702821</guid><author>sunbaigui</author><pubDate>Fri, 15 Mar 2024 09:45:22 +0800</pubDate><description><![CDATA[本文旨在解决离线强化学习中的互模拟缺陷。强化学习中的表征学习对于控制任务而言至关重要，将来的一个重要研究方向是将大模型为基础的文本或图像信息与控制任务对应的状态表征做进一步对齐。这里，互模拟为基础的表征算法可能是一个重要的未来研究方向，可能对多模态数据与控制任务的对齐起到关键性作用。]]></description><category></category></item></channel></rss>