破解多实例生成难题，精准掌控视觉生成细节

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain

ROICtrl: Boosting Instance Control for Visual Generation

【要点】：本文提出了ROICtrl，一种增强视觉生成模型中实例控制的新方法，通过引入ROI-Unpool操作实现了对预训练扩散模型的高效、准确区域实例控制。
【方法】：作者受到ROI-Align在目标检测中的启发，创新性地提出了ROI-Unpool操作，并将其集成到ROICtrl适配器中，以实现对预训练扩散模型区域实例的精确控制。
【实验】：通过在多个数据集上进行实验，结果显示ROICtrl在区域实例控制方面表现出色，同时显著降低了计算成本，但具体数据集名称未在摘要中提及。
【链接】：https://www.aminer.cn/pub/6747dc37ae8580e7ffe51044

CAT4D: Create Anything in 4D with Multi-View Video Diffusion Models

要点】：本文提出了CAT4D方法，通过单目视频实现四维（动态三维）场景的创建，该方法利用多视角视频扩散模型，结合创新采样技术，实现了指定摄像机姿态和时间戳下的新视角合成。
【方法】：CAT4D采用多视角视频扩散模型，训练时结合了多种数据集，并使用一种新颖的采样方法，通过优化可变形三维高斯表示进行四维场景重建。
【实验】：研究者在多个新视角合成和动态场景重建基准测试中证明了CAT4D的性能，并展示了其利用真实或生成的视频进行四维场景生成的创造性能力；具体的数据集名称在论文中未提及。
【链接】：https://www.aminer.cn/pub/6747dcd0ae8580e7ffe7d101

Interleaved Scene Graph for Interleaved Text-and-Image Generation Assessment

【要点】：本文提出了一个名为ISG的评价框架，用于评估交织文本和图像生成的一致性、连贯性和准确性，并引入了ISG-Bench数据集，该数据集暴露了现有统一视觉语言模型在生成交织内容方面的不足。
【方法】：ISG框架采用场景图结构捕捉文本和图像块之间的关系，并在整体、结构、块级和图像特定级别上进行细致评估。
【实验】：作者使用ISG-Bench数据集，包含1,150个样本，跨越8个类别和21个子类别，对模型进行了评估，并展示了统一视觉语言模型在生成交织内容方面的性能不佳，而组合方法在整体级别上比统一模型提高了111%，但在块级和图像级别上的性能仍然不足。同时，作者开发了一个基线代理ISG-Agent，通过“计划-执行-优化”流程调用工具，取得了122的性能提升。
【链接】：https://www.aminer.cn/pub/67468bc2ae8580e7ff7a1197

Large Language Model-Brained GUI Agents: A Survey

【要点】：本文综述了大型语言模型驱动的图形用户界面（GUI）代理的历史发展、核心组件和先进技术，并探讨了其在研究和产业中的未来发展方向。
【方法】：文章通过文献调研和综合分析，对LLM驱动的GUI代理的研究现状进行了梳理。
【实验】：本文未涉及具体实验，但提到了对现有GUI代理框架、数据收集与利用、专门GUI任务的大动作模型开发以及评估指标和基准的探讨，未提及使用特定数据集。
【链接】：https://www.aminer.cn/pub/6747dc92ae8580e7ffe64249

MARVEL-40M+: Multi-Level Visual Elaboration for High-Fidelity Text-to-3D Content Creation

【要点】：本文提出了MARVEL-40M+，一个包含4000万文本注释的大型数据集，通过创新的多阶段注释流程和MARVEL-FX3D两阶段文本到3D生成流程，实现了高质量的文本到3D内容创建。
【方法】：研究采用了一种新颖的多阶段注释流程，该流程结合了开源预训练的多视角视觉语言模型（VLMs）和大型语言模型（LLMs），自动生成多级描述，并整合了人类元数据以增强注释的领域特定信息。
【实验】：实验中，研究人员使用MARVEL-40M+数据集对Stable Diffusion进行了微调，并与预训练的图像到3D网络结合，生成了纹理化的3D网格，并在15秒内完成了任务，结果显示MARVEL-40M+在注释质量和语言多样性上显著优于现有数据集，取得了72.41%的胜率。
【链接】：https://www.aminer.cn/pub/6747dc35ae8580e7ffe506c4