AI-cv-sharer

论文:项目:镜头视觉的控制性在视频生成中起着至关重要的作用，它允许用户创建所需的内容。然而，现有模型在精确控制相机姿态方面往往被忽视，而相机姿态是表达更深层次叙事细节的电影语言。视频生成领域需要更精确的控制方法来满足用户定制化内容的需求，尤其是相机视角和运动轨迹的控制，这对于增强视频的真实感和用户参与度至关重要。论文介绍了CameraCtrl，这是一个为文本到视频生成模型增加精确相机控制的插件式模块。它通过使用Plücker嵌入来参数化相机轨迹，并通过训练一个相机编码器来实现精确的相机控制。

论文:项目: https://github.com/G-U-N/AnimateLCM视频生成扩散模型因其能够生成连贯且高保真的视频而越来越受到关注，甚至有一些产品已经可以生成以假乱真的视频，如：OpenAI的Sora，生数科技的Vidu。基于开源生态的Stable Video Diffusion也吸引了大量社区的开发者和设计师。视频内容生成需求的增长，伴随着对视频画质和视频长度的增长，这带来了巨大的计算消耗。计算成本高，生成速度慢的视频生成模型严重限制了广泛应用。

论文: https://arxiv.org/pdf/2404.02747v1代码: https://github.com/HaozheLiu-ST/T-GATE。

2023年，我们见证了人工智能生成内容（AIGC）的兴起，无论是能够将文本转换为图像的Stable Diffusion技术，还是文生视频的Sora技术，它们都极大地激发了人们的创意思维，提高了工作效率。Sora技术的表现非常出色，但任何技术的发展都有其起点。我认为，文生视频技术的灵感很可能来自‘Align Your Latent’这一概念。现有大部分的视频生成模型算法，都可以在这篇文章中找到起源。