DynamiCrafter模型构建教程

于 2024-09-05 11:31:31 发布
阅读量1k 收藏 11
点赞数 23
CC 4.0 BY-SA版权
分类专栏： 模型构建 文章标签： 图生视频 DynamiCrafter 视频扩散先验 大模型 文生图 AIGC 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SJJS_1/article/details/141926611

一、模型描述

DynamiCrafter 是一种（文本-）图像到视频/图像动画的方法，旨在从条件图像和文本提示中生成短视频片段（约 2 秒）。

开发者 ：香港中文大学 & 腾讯 AI 实验室

资助方 ：香港中文大学 & 腾讯 AI 实验室

模型类型 ：生成性（文本-）图像到视频模型

模型资源

Github 仓库（https://github.com/Doubiiu/DynamiCrafter），其中包含了详细的实现代码。

仓库链接 ：https://github.com/Doubiiu/DynamiCrafter

论文链接 ：

最低0.47元/天 解锁文章

200万优质内容无限畅学
博客
Wan2.1-14B-T2V-FusionX-VACE基础使用指南：基于ComfyUI
07-18 675
Load chekpoint:基础大模型加载器，用于加载模型。Load CLIP：作用是将输入的内容与生成式大模型结合，从而引导图片生成。Load ControNet Model：用于加载 contronet 各功能的节点KSampler:K 采样器。VAE :变分自编码器，类似滤镜。现在很多模型都自带 VAE，VAE 分为 Decode（解码）和 Encode（编码）。其中 编码器将输入数据压缩成一个潜在向量，解码器则根据这个潜在向量重构原始输入。
博客
今天，OpenAI彻底颠覆AI助手！ChatGPT智能体上线，融合三大AI
07-18 189
具备自主决策能力的ChatGPT智能体正式发布！无缝融合思考、操作、进化三大AI引擎。
博客
蚂蚁集团AI书法神器——Calligrapher本地部署教程：扩散模型实现高精度文本图像定制
07-17 586
Calligrapher是一种创新的扩散模型框架，由蚂蚁集团与香港科技大学的研究团队共同开发，专门用于数字书法和设计应用中的文本图像定制与风格转换。Calligrapher可以提供个性化的文本图像定制，它允许用户使用各种风格化的图像和文本提示执行自定义，支持英文的修改。该框架通过自蒸馏机制、局部风格注入框架和上下文生成机制三大核心技术，实现了对任意文本或非文本输入的高精度风格复制和排版设计。自蒸馏机制：利用预训练的文本到图像生成模型和大型语言模型自动构建风格中心的排版基准数据集，无需手动注释即可实现风格学习
博客
【架构革命】Transformer“杀手”来了！谷歌DeepMind推出MoR架构，动态路由实现推理2倍速！
07-17 351
2倍推理速度提升、训练内存减半，谷歌DeepMind刚刚推出的架构碾压传统Transformer，重新划定了AI效率的边界。
博客
全链路开源+PBR物理渲染！Hunyuan3D-2.1本地部署教程：重新定义工业级3D生成
07-16 913
腾讯混元 3D-2.1 作为可扩展的三维资产生成系统，通过两大突破性创新推动前沿三维生成技术发展：全开源框架与基于物理的渲染（PBR）纹理合成。该系统首次完整公开模型权重与训练代码，使社区开发者能够直接微调并扩展模型，满足多样化下游应用需求，显著加速学术研究与工业部署进程。升级后的 PBR 管线取代了先前的 RGB 纹理模型，通过基于物理原理的材质模拟技术，生成具备真实感光效交互的纹理（如金属反射、次表面散射等）。混元 3D 2.1 与其他开源及闭源三维生成方案的对比评测。
博客
硅谷规模最大种子轮！OpenAI 前 CTO 初创企业获20亿美元融资，英伟达、AMD联投
07-16 361
硅谷史上规模最大的种子轮融资诞生了！前OpenAI CTO新公司刚成立就拿下20亿美元，估值破百亿。
博客
Gemma-3n-E4B-it本地部署教程：谷歌开源轻量级多模态大模型，碾压 17B 级同类模型！
07-15 786
Gemma-3n-E4B-it（简称 E4B-IT）是 Google 于 2025 年 6 月 26 日推出的轻量级开源多模态 AI 模型，属于 Gemma 3n 系列的高阶版本（E4B 指“有效参数 4B”），专为移动设备和边缘计算场景设计，支持本地处理文本、图像和音频输入，并生成文本输出。E4B-IT 的音频功能支持设备端语音转文本和翻译（英法/英西翻译准确率超 92%），视觉功能由 MobileNet-V5 编码器驱动。
博客
刚刚，英伟达宣布将恢复 H20 在华销售！并计划推出全新GPU
07-15 386
美国政府批准H20出口许可，英伟达将开始向中国销售H20，持续三个月的芯片僵局是否将被打破？
博客
阿里开源黑科技！Wan2.1-14B-T2V-FusionX-VACE本地部署教程：基础模型+专项优化模块“实现质变！
07-14 1210
今年5月，阿里云开源模型，凭借其突破性技术架构与能力，极大提升了AI视频创作效果。本次合并模型整合了的作用域（scopes）与的模型架构。
博客
Manus 「出走」背后：AI Agent 赛道技术与市场的双重困境
07-14 631
从万众追捧到风口浪尖，Manus用130天上演了一场AI创业的魔幻现实主义大戏。
博客
“28项评测23项SOTA——GLM-4.1V-9B-Thinking本地部署教程：10B级视觉语言模型的性能天花板！
07-11 1044
GLM-4.1V-9B-Thinking是由智谱AI联合清华大学团队推出的多模态大模型，以基座模型为底，通过引入“思维链推理机制”和“课程采样强化学习策略”（Reinforcement Learning with Curriculum Sampling），显著提升了模型的跨模态推理能力与稳定性。在继承 GLM 系列通用大模型能力的基础上，进一步强化了视觉理解和复杂推理能力。该模型支持长上下文输入，具备处理图像、视频、文本等多种模态的能力，适用于教育、科研、工业和政务等多个领域。
博客
马斯克Grok 4陷入争议：追求真理还是个人观点的「扩音器」？
07-11 309
Grok 4翻车了？
博客
6 亿参数玩转 20 + 语言！OuteTTS-1.0-0.6B本地部署教程，轻量模型也能 hold 住跨语言合成
07-10 803
OuteTTS-1.0-0.6B 是 OuteAI 于 2025 年 5 月发布的开源语音合成模型，基于 Qwen-2.5-0.5B 架构优化，参数规模 6 亿，专注于轻量级高性能语音合成。该模型通过创新技术路径实现了多语言支持、声音克隆和低资源消耗的平衡，在边缘计算、移动应用等场景展现出独特优势。
博客
全球第一！英伟达市值突破4万亿，算力正成为数字时代「新石油」
07-10 477
算力，这个未来的科技硬通货，正随着英伟达创造的商业神话，成为数字时代的「新石油」。
博客
让AI绘图更可控！ComfyUI-Cosmos-Predict2基础使用指南
07-09 576
Cosmos-Predict2 是由 NVIDIA 推出的新一代物理世界基础模型，专为物理 AI 场景下的高质量视觉生成与预测任务设计。该模型具备极高的物理准确性、环境交互性和细节还原能力，能够真实模拟复杂的物理现象与动态场景。Cosmos-Predict2 支持文本到图像（Text2Image）和视频到世界（Video2World）等多种生成方式，广泛应用于工业仿真、自动驾驶、城市规划、科学研究等领域，是推动智能视觉与物理世界深度融合的重要基础工具。
博客
突破 30 分！DeepSeek-R1 联合 X-Master，打破AI 评测纪录
07-09 1472
“人类最后的考试”，被一支国内团队打破了纪录。
博客
ComfyUI-v0.3.43本地部署教程：新增 Omnigen 2 支持，复杂图像任务一步到位！
07-08 1172
ComfyUI-v0.3.43 是基于节点化工作流的 Stable Diffusion 图形界面工具的最新版本，专注于提升模型兼容性、性能稳定性及用户体验。Flux Kontext 与 Omnigen 2 集成新增对 Flux Kontext（基于扩散模型的图像编辑工具）和 Omnigen 2 模型的官方支持。用户可通过节点直接调用这些模型，实现高精度图像风格迁移、多模态内容生成等复杂任务。
博客
腾讯重磅发布！业界首个美术级3D生成大模型Hunyuan3D-PolyGen诞生：BPT+强化学习实现美术级3D生成
07-08 418
腾讯混元推出业界首个美术级3D生成大模型，建模效率提升70%！这对数字内容生产行业将产生哪些影响？
博客
ERNIE-4.5-21B-A3B-Paddle 本地部署教程：百度飞桨出品，下一代多模态大模型标杆
07-07 1191
是百度推出的新一代多模态大模型，属于，采用，总参数规模达，激活参数。该模型基于开发，支持文本与视觉的联合训练，具备强大的多模态理解和生成能力。1.2.3.
博客
十年未解基因谜团被ChatGPT破解！真实案例揭示AI医疗新可能
07-07 297
斗争十年顽疾无果后，一次AI尝试，竟意外破解了基因谜团。ChatGPT如何成为诊断助手？背后是人机协作的新可能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值