52个AIGC视频生成算法模型介绍

原创 于 2024-03-25 16:20:51 发布 · 7.9k 阅读 · 63 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#AIGC

cb4b09c79904c61c602fa64d80dd87c7.gif

基于Diffusion模型的AIGC生成算法日益火热，其中文生图，图生图等图像生成技术普遍成熟，很多算法从业者开始从事视频生成算法的研究和开发，原因是视频生成领域相对空白。

1c4428405eb4326ffd97d5cbdbd82510.png

AIGC视频算法发展现状

从2023年开始，AIGC+视频的新算法层出不穷，其中最直接的是把图像方面的成果引入视频领域，并结合时序信息去生成具有连续性的视频。随着Sora的出现，视频生成的效果又再次上升了一个台阶，因此有必要将去年一年到现在的视频领域进展梳理一下，为以后的视频方向的研究提供一点思路。

89c56ad60d1947e9e9f4396669cefb70.png

AIGC视频算法分类

AIGC视频算法，经过梳理发现，可以大体分为：文生视频，图生视频，视频编辑，视频风格化，人物动态化，长视频生成等方向。具体的输入和输出形式如下：

  1. 文生视频：输入文本，输出视频

  2. 图生视频：输入图片（+控制条件），输出视频

  3. 视频编辑：输入视频（+控制条件），输出视频

  4. 视频风格化：输入视频，输出视频

  5. 人物动态化：输入图片+姿态条件，输出视频

  6. 长视频生成：输入文本，输出长视频



51287f0d075d356969d1ab42d62df34d.png

具体算法梳理

▐  文生视频

  • CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers

机构：清华

时间：2022.5.29

https://github.com/THUDM/CogVideo.

简单介绍：基于两阶段的transformer（生成+帧间插值）来做文生视频

ed514daa38b20aecd74c7bbe28d3ef5c.png

  • IMAGEN VIDEO

机构：Google

时间：2022.10.5

简单介绍：基于google的Imagen来做的时序扩展，而Imagen和Imagen video都没有开源

bbabe3ca53eaf850b5c572bfcf0fd2ef.png

  • Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators

机构：Picsart AI Resarch

时间：2023.3.23

https://github.com/Picsart-AI-Research/Text2Video-Zero

简单介绍：基于图像diffusion model引入corss-frame attention来做时序建模，其次通过显著性检测来实现背景平滑。

259d391173d47f7eaa05edc1a1840f02.png

  • MagicVideo: Efficient Video GenerationWith Latent Diffusion Models

机构：字节

时间：2023.5.11

简单介绍：直接将图像SD架构扩展成视频，增加了时序信息

4b0eec415d523dd0d813e11eb173fd9d.png

  • AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning

机构：上海 AI Lab

时间：2023.7.11

https://animatediff.github.io/

简单介绍：基于图像diffusion model，训练一个运动建模模块，来学习运动信息

f11dc8e8e9708c67ee75f2fd5badd579.png

  • VideoCrafter1: Open Diffusion Models for High-Quality Video Generation

机构：腾讯 AI Lab

时间：2023.10.30

https://ailab-cvc.github.io/videocrafter

简单介绍：基于diffusion模型，网络架构采用空间和时序attention操作来实现视频生成

68bdbf6c9e459513e19e9754482e6eae.png

▐  图生视频

  • AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning

机构：上海 AI Lab

时间：2023.7.11

https://animatediff.github.io/

  • VideoCrafter1: Open Diffusion Models for High-Quality Video Generation

机构：腾讯 AI Lab

时间：2023.10.30

https://ailab-cvc.github.io/videocrafter

  • stable video diffusion

机构：Stability AI

时间：2023.11.21

https://stabil

最低0.47元/天 解锁文章
博客
淘系技术，实力为2019年双11而战！稳！
11-12 2万+
今年，双11走到了第11个年头，史无前例的，阿里经济体内有49支技术团队共同参与作战，也是第一次，双11的核心系统将100%跑在云上，这无疑让今年的双11技术作战充满了更大的挑战。正如2019年双11技术团长平畴（汤兴）说的“「善战者，无智名，无勇功」，这是我们技术人最高的境界”。我们一起捍卫了阿里技术人的荣耀，一个字 “稳”！年年双11，回回新玩法，“在吗，盖楼吗？”成为了好友聊天的日常，每天蹲...
博客
代码染色&无效代码清理
11-21 552
但实际做代码下线并非容易，仅凭业务逻辑决策代码清理费时费力，还容易误删在使用的业务代码，因此非常需要工具来辅助做代码的清理，这就是基于代码执行染色和覆盖分析做代码下线方案的背景。离线方案的缺点在于，考虑到插桩代码运行存在性能损耗，如果不是所有在线机器都部署采集，每次部署就需要至少打出两份部署包：插桩版本的包和不做插桩的包，将插桩包部署到需要采集的机器，非插桩包部署到其它机器，这种分别部署的方式增加了部署调度的复杂性。自定义的方式对理解和实践插桩过程很有帮助，比较方便自定义的方式处理采集的数据，但存在问题。
博客
交易订单表如何做索引优化
11-19 922
本文首先以淘天电商交易订单表线上一条非典型慢 SQL 的深入剖析为切入点，示范如何系统地分析与排查慢 SQL；接着详尽归纳了索引分类、B+Tree 与 B‑Tree 的结构差异、B+Tree 高度估算方法、EXPLAIN 与 Query Profile 等诊断工具的使用，以及索引下推与排序的执行流程等索引优化理论；最后结合日常实践经验，提出了适用于大规模线上集群的索引变更 SOP，并总结了常见的慢 SQL 成因与相应的解决策略。前言交易订单表（tcorder）用于存储集团电商的在线订单记录，该表近60个字段
博客
页面搭建方案(TurboUIBuilder)在穿搭星球的实践
11-14 819
本文介绍了手淘穿搭星球业务在面对快速迭代和极致用户体验需求时，从初期Weex方案转向Native技术栈，并基于微服务架构设计了TurboUIBuilder这一可视化页面搭建平台。该方案通过三层结构实现页面布局的结构化与动态化，结合DX动态组件、keypath数据绑定协议和内置核心服务（如布局、数据、埋点等），提升了开发效率30%-50%，实现了双端一致性、体验优化开箱即用（如无极缩放转场、多媒体浏览）以及页面的远程动态更新。同时，依托Skyline模板发布平台，支持高效、安全的模板管理与AB测试，最终形成了
博客
从0到1：天猫AI测试用例生成的实践与突破
11-10 63
随着大模型的不断演进，测试行业基于AI也在做不同程度的探索，在agent智能体生成方面，基本使用的是prompt+RAG的方式，构建特定业务的需求分析/测试用例生成/数据构造智能体等。其中从用例设计到最终的回归约占据了QA 70%的时间，在当下对于质量要求高，版本节奏快，人力成本缩减的前提下，急需借助大模型来辅助测试设计，建设相关的智能化工具。目前在实践中主要问题还是集中在PRD质量不高；营销解决方案，导购场域，交易结算，多部门协作，中后台，如何针对不同业务类型做用例生成的适配和应用，也是面临的难题之一。
博客
让AI打出丝滑连招：编码-部署-自测-改bug
11-07 852
在AI辅助编程的实践中，即使需求理解、方案设计、代码生成都很顺利，AI写出的代码仍不可避免地存在各种小问题。
博客
别让故障复盘流于形式：用AI挖掘每一次“跌倒”的价值
11-03 96
而复盘是让这次故障价值最大化的核心节点，一方面准确深度发现当前系统的风险，并推动当下系统存在的风险闭环解决，同时举一反三将未发生故障&存在同样风险的系统实现真正的故障规避，另一方面复盘的结果也应该作为一种数据资产在后续的稳定工作中产出更有实质性的帮助，比如丰富稳定性工作的方向和方式，再比如经验不足的研发可以从过去的故障中学习故障树FTA路径，以及恢复手段和关键决策。我们决定推翻标签限制的关注点生成架构，借鉴人工复盘思路，从五个域出发（架构，测试，编码，变更，应急），根据上下文先提出关键问题，再尝试回答。
博客
AI Coding 长文分享：如何真正把工具用起来，从原理到实践
10-29 263
涵盖其底层机制（如Token计算、工具调用、Codebase索引与Merkle Tree）、提升对话质量的方法（如规则设置、渐进式开发）、实际应用场景（如代码检索、绘图生成、问题排查），并推荐了结合AI的编码最佳实践，包括文档、注释、命名规范和安全合规，旨在帮助不同经验水平的开发者真正把AI工具用好。我们不只可以粘代码、图片进去，还可以让模型参考网页、Git历史、当前打开的文件等，这些 IDE 类的工具支持的比较好，因为是在IDE环境里面，而CLI在终端中，限制就要多一些（但更灵活）。
博客
我的研发实践：高准确率AICoding工作流设计
10-27 256
在Agent框架选择上，一般我们在IDE或者cli中直接使用的都是单一Agent，单一LLMAgent可以通过工具、记忆、规划执行，很好的完成我们诸如：代码变更的诉求，如果我们的工作流有且仅有代码修改时，这样的架构无疑是最高效的，但是，我们也必须看到单一 Agent 有几个问题：工具太多可能导致选择复杂，上下文变得过于庞大，以及任务可能需要专业化。技术是帮助业务解决问题的手段，业务的形态，技术的使用是多样的，但是沉淀解决问题的能力，抽象解决问题的方法是不会变的。应该是，你想让这个方向变成未来的趋势吗？
博客
一次AI驱动的淘宝客户端需求开发实战
10-22 112
提供清晰和明确的prompt描述，在提供给AI Coding任务尽可能是你能预期输出，给出明确构建描述的任务，当你的Prompt不能指向一个明确的Coding 产物时，可能带来的就是无尽的再次沟通成本，带来的提效时长，在一次次反复补充信息中，逐渐消耗成0甚至不如我自己干了。尝试对收集中的问题，提供了一些解决的建议，截取如下。这样的开发方式，除了提升了Coding的效率，同时也能一定程度上降低客户端开发时，双端的不一致问题(逻辑差异，消息名不一致，技术方案差异等等)，减少了方案不一致导致后需问题的可能性。
博客
天猫行业中后台前端研发Agent设计
10-20 1314
实践验证表明，这种策略带来了显著的投资回报：不仅实现了70%的代码查询延迟降低，系统的松耦合设计还确保了各组件的独立演进和优化能力。更严重的是API变更带来的认知偏差问题，已有工具的API可能已发生重大更新（如Tailwind CSS v4的breaking changes），模型对废弃方法和新增特性的把握存在准确性问题。无论是传统的VSCode、IntelliJ IDEA，还是新兴的AI增强型IDE如Cursor、Windsurf，它们的核心关注点依然停留在代码编写、调试和基础的智能提示层面。
博客
初探：从0开始的AI-Agent开发踩坑实录
10-15 165
作为决策者：让 AI 做决策，意味着它需要对环境有深刻的理解，甚至具备一定程度的“常识”，在已知的模型能力下，往往和高质量的prompt和上下文强相关。我们的任务，就是在理解这些工具的边界和特性的基础上，遇到问题，分析问题，并用最恰当的方式去解决问题。面对这种不确定性，需要更精细的策略，例如Few-short，即好的例子，清晰的逻辑链条和工具使用指南，迭代式优化等等。在那个瞬间，我脑海里闪过的一个宏大的图景——一个全能的应用部署agent，好吧冷静下来，还是聚焦于一个小的开始，k8s部署物的自动生成。
博客
AI 动画辅助实现的方案与实践
10-13 1022
通过AI驱动的精准推荐、场景化表达与动态策略调控，我们为用户创造更自然、更智能的购物旅程，为营销业务提供高效、敏捷的技术支撑，助力淘宝构建以用户为中心的全域营销技术体系。这两个工具将非结构化的视觉动画转化为可编程、高性能、易维护的前端实现，显著降低了开发门槛，使原本耗时数小时的动画开发流程缩短至几分钟，实现了从设计到代码的高效落地。基于 AI 技术自动生成并优化 SVG 动画代码，尤其针对路径变形、形变动画等复杂场景，实现关键帧间的平滑过渡，输出轻量、可维护的动画代码，大幅降低开发门槛。
博客
从Prompt到Context：为什么Think Tool是形式化的必然？
10-09 110
上面说的很多，其实重演了软件工程的历史，对可靠性、可验证性、可扩展性和可维护性的需求是完全相同的。这块的设计提升的效果非常的明显，在几个案例上都达到了明显的提效，甚至比R1的预先的思考更有效，这种玩法就是把思考这个行为从一种隐式的、不可观测的过程，转变为系统执行迹线中一个显式的、结构化的、可验证的动作。首先在这里说到的语言，并不是严格按照上面的谱系语言分级，也不是编程语言，这里指的是整个人类的自然语言，而这里的编译器指的是LLM，相当于是LLM来编译人类的语言产生结果，这之间自然是存在类似的形式化分级。
博客
产品经理也能“开发”需求？淘宝信息流从需求到上线的AI端到端实践
09-29 986
每个代码仓库相关的资料，存放在代码仓库特定路径下的markdown文件，在任务执行过程中可选择特定的上下文，由代码的所有开发者共同维护，同样可适用于Cursor或Jules等编程工具，包含目录结构、仓库工作流、技术栈等。有了强大的一个AI编码工具Codex，也有了需要执行的任务（提示词），我们如何指挥大模型进行正确的修改呢？团队在保证业务的同时，以先进的跨端框架和研发模式不断完善自己，打造最极致的体验和工程技术，保障多端设备的适配和稳定运行，并探索端智能等创新机会，通过技术高效驱动业务的良性发展。
博客
一位淘宝工程同学的大模型LoRA微调尝试
09-24 532
通过AI驱动的精准推荐、场景化表达与动态策略调控，我们为用户创造更自然、更智能的购物旅程，为营销业务提供高效、敏捷的技术支撑，助力淘宝构建以用户为中心的全域营销技术体系。结果表明，LoRA 能以极低的计算成本让通用大模型有效学习业务知识，显著提升其在特定任务中的表现，真正实现“让大模型懂业务”，推动 AI 从“可用”走向“好用”。从智能客服到内容生成，从代码辅助到推荐系统，大模型正以前所未有的速度渗透到互联网技术的各个领域，成为驱动创新的核心引擎。），在不改变主干模型的前提下，仅通过训练少量新增参。
博客
Claude Code 深度拆解：一个顶级AI编程工具的核心架构
09-22 466
整个Claude Code的核心资产，他这个cli效果这么好除了是因为强大的模型，也是因为有很强大的工具，例如有一个特别强大的bash tool的工具，可以调用shell里面的所有命令，也包含agent tool，可以发挥更强大的能力。际的使用过程中，Claude Code是一个比较通用的智能体，他输出的代码也比cursor简练很多，更像是一个熟悉整个项目的高级程序员，研究和学习这个框架对于开发自己的Agent至关重要，本篇文章会详细介绍Claude Code的设计模式和核心。
博客
多模态AI质检：身份核验场景实践
09-17 892
针对用户上传身份证时常见的图片问题，项目通过引入阿里云百炼平台的多模态模型，在OCR识别失败时进行智能检测与反馈，提供对客友好的提示文案，从而引导用户重新上传合格照片。上线后，相关指标表现出积极变化，OCR失败用户的再次失败率（OCR失败用户中再次识别仍失败的比例）有所下降，申请转化率有所提升。将“珠海”识别为“上海”。通过大模型提示词的增强优化，无需对每个场景进行大规模定制，用于多种类型的证件上传场景即可快速扩展功能，为更多业务场景赋能，未来结合工作流或智能体编排，将进一步提升可维护性和功能扩展能力。
博客
基于智能体的自适应资损防控体系 - 淘工厂实践（二）
09-12 349
基于这些数据，Agent能够自动生成具体的监控建议，明确指出需要监控的具体对象、最佳监控时机、适用的监控类型，以及具体的监控值指标。正如我们在测试领域所践行的理念——"With great power comes great responsibility"，当我们拥有了AI这样强大的工具，更应该思考如何用它来创造更大的价值，守护每一分应得的收益，为业务的健康发展保驾护航。”的问题，新范式中，我们的Agent结合上文智能化提取到的知识，对用户输入的“小程序-下单积分玩法”需求文档，展开分析。
博客
AI赋能前端开发提效实践：以长颈鹿接入为例
09-10 735
面对Weex/Muise架构限制、跨端兼容难题及分散的文档体系，作者转变传统开发模式，构建结构化、可被AI理解的研发知识库，并结合项目级编码规范与RAG技术，实现AI在组件开发、埋点集成、支付对接等环节的高效协同。但该项目积累的开发规范、组件模板与AI提示工程经验，在后续迁移至778红包项目时实现了高效复用，显著缩短了开发周期，提效成果得以充分释放。每天有较多用户在手淘搜索：天猫超市卡，经与搜索团队沟通，可在搜索长颈鹿场景下，直接透传猫超卡充赠组件，提升用户转化，给用户提供最直接的猫超卡充值服务。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值