text-to-video generation(T2V)数据集

已于 2023-01-06 18:02:24 修改
阅读量1.3k 收藏 4
点赞数
分类专栏： 深度学习 文章标签： 深度学习
于 2023-01-04 20:19:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37236149/article/details/128551677
版权
本文介绍了多个视频理解基准数据集，如MSR-VTT、KTH、MSVD、Kinetics和VaTEX，强调了它们在深度学习中的应用。MSR-VTT是最大的视频文本翻译数据集，包含多样化的视觉内容和丰富的句子词汇。KTH专注于人类动作识别，而VaTEX是大型多语言视频和语言研究数据集，涵盖600个人类活动，支持多语言研究。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

各个论文用到的主要数据集

Dataset Original task Examples Sentences
MSR-VTT video caption 10000(20 classes) ~20
KTH action recognition 2391 -
MSVD video classification 1970 40
Kinetic video classification ~500,000(600 classes) -
UCF-101 video classification 13,320(101 classes)-
VaTEX video caption ~ 41250 10 English+10 Chinese

MSR-VTT

最低0.47元/天 解锁文章
tune a video:one-shot tuning of image diffusion models for text-to-video generation
liguandong
03-19 3340
首先作者升级了stable diffusion的架构将2d卷积换成了3d卷积，并且将self-attention扩展到时空域，但转换之后的计算量会飙升，作者提出了sparse-causal attention，每一帧只和第一帧以及前一阵计算attention，可以极大减少计算量，在训练时，通过一段视频和相应的text进行微调，在推理时，要保证动词的一致性，可以更换背景和主题，依然能产生很好的连续性，one shot的视频实际上就是让T2I模型去学动作的。_哔哩哔哩_bilibili。
【arxiv 2024】T2V-CompBench: A Comprehensive Benchmark for Compositional Text-to-video Generation
zik的博客
07-26 1347
Authors概述：✔️ 对组合文本到视频生成进行首次系统研究，并提出基准 T2V-CompBench。✔️ 通过精心设计的指标评估组合性的各个方面，涵盖 7 个类别和 700 个文本提示。✔️ 提出专为组合 T2V 生成而设计的评估指标，并通过人工评估进行验证：基于 MLLM 的评估指标、基于检测的评估指标和基于跟踪的评估指标。✔️ 对 20 个文本到视频生成模型进行基准测试和分析，强调当前模型组合文本到视频生成的重大挑战，旨在指导未来的研究。
{txt-to-video}——文本转视频思路
渗透测试
07-28 3343
txt->读取->调用api合成语音->合成语音->MP3+PNG/JPG->合成视频。
Text-to-Video Generation by Large Models: Ushering in a New Era of Visual Creativity
最新发布
2503_91518575的博客
04-12 546
In the current era of rapid development of artificial intelligence, the text-to-video generation technology based on large models is emerging as a bright new star, gradually coming to the fore and bringing us unprecedented visual experiences and creative e
【论文精读】MAKE-A-VIDEO:TEXT-TO-VIDEO GENERATION WITHOUT TEXT-VIDEO DATA
m0_60634555的博客
03-23 1596
1.学习这个世界看起来是什么样的符合文本-图像对的描述2.学习这个世界是如何运动的无监督视频序列make video的三个好处:①加速了训练过程，不需要从头开始训练视觉或多模态的表示.②不要求成对的文本-视频数据③继承了图像生成模型的vastness(广度)基于T2I，使用一个新的时间空间模块，实现T2V。1、首先，解码了U-NET和attention tensors。2、第二，设计了时空的pipeline去生成一个高帧率高分辨率的视频。
《Video Generation from text》论文笔记
sunny0121的博客
09-14 2835
论文名：Video Generation from text 时间：2017.8.1 作者：Yitong Li(Duke U)等 来源：arXiv:1710.00421v1 [cs.MM]     中心思想：论文提出一种混合网络结构——CVAE-GAN，用于从文本描述中生成具有运动动态的视频（首次）。结构包括gist 生成器、Video生成器、...
探索未来视觉：Awesome-Text-to-Video-Generation 指南
gitblog_00058的博客
06-24 522
探索未来视觉：Awesome-Text-to-Video-Generation 指南 去发现同类优质开源项目:https://gitcode.com/ 在数字时代的浪潮中，文本与视频的融合不再是科幻小说中的设想，而是一项正迅速发展的技术前沿。【Awesome-Text-to-Video-Generation】项目，一颗璀璨的技术星，正在这片领域熠熠生辉。该项目，如其名所示，是一个精心策划且持续更新...
【Diffusion 视频生成】Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation
沉迷单车的追风少年
10-12 789
Tune-A-Video提出了一个新的文本-视频任务：One-Shot视频生成，能够在视频对象编辑、背景编辑、风格转换、可控生成等领域取得了非常好的效果。这篇博客详细解读Tune-A-Video的论文和代码，希望能对做扩散模型视频生成的读者们有所帮助。
每日AIGC最新进展(45)：字节跳动开源大规模text-to-video数据集OpenVid-1M、浙江大学提出锚定条件控制视频生成GVDIFF、Meta AI研究院提出文生3D大模型3DGen
沉迷单车的追风少年
07-09 1546
OpenVid-1M是一个大规模、高质量的文本到视频（Text-to-video, T2V）数据集，旨在推动T2V生成领域的研究。该数据集包含超过一百万段具有高美学标准、清晰度和表达性字幕的视频片段。它解决了现有数据集质量不高或体积过大不适合大多数研究机构使用的问题，并强调了充分利用文本信息的重要性。
2019-2021 文本生成图片 Text To Image（T2I） Synthesis 论文整理
qq_26136211的博客
03-25 4013
参考：文本生成图像！GAN生成对抗网络相关论文大汇总 A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis 介绍了关于GAN生成对抗网络的相关Text-to-Image论文，将其分类为Semantic Enhancement GANs, Resolution Enhancement GANs, Diversity Enhancement GANs, Motion Enhancement GANs四类，
探索视频生成的新纪元：Text-To-Video-Finetuning
gitblog_00035的博客
05-21 495
探索视频生成的新纪元：Text-To-Video-Finetuning 项目地址:https://gitcode.com/gh_mirrors/te/Text-To-Video-Finetuning 在这个数字时代，将文本转化为生动的视频已经成为创新技术的前沿。Text-To-Video-Finetuning是一个突破性的开源项目，它利用Diffusers库对ModelScope的文本转视频模型进...
text2video:该软件工具可将文本转换为视频，以提供更吸引人的学习体验
05-04
Text2Video 描述 Text2Video是一种软件工具，可将文本转换为视频，以提供更吸引人的学习体验。 我开始这个项目是因为在这个学期中，我被分配了许多阅读作业，并且在阅读长篇文章时感到沮丧。 对我来说，通过阅读学习一些东西非常耗时和精力。 因此我想，“如果有一种工具可以将文本转换成更具吸引力的内容（例如视频），那会不会改善我的学习体验？” 我进行了一些研究，发现许多文章和研究支持视频对许多人来说比文本更有效地学习，其中包括以下数据： 人脑处理视觉内容的速度比文字处理速度快60,000倍。 观看者保留了95％的视频消息，而阅读文本时保留了10％的消息。 65％的人认为自己是视觉学习者。 我创建了一个原型Web应用程序，该应用程序将文本作为输入并生成视频作为输出。 这是上的 。 我计划针对18至23岁的年轻大学生进一步开展该项目，因为根据我发现的调查，他们倾向于通过视
一个文本转视频的工具-text2video
03-30
安装依赖 开发时，需要安装的环境是 macOS python 3.10.12，其他环境可能存在兼容性问题 pip install -r requirements.txt 生成 huggingface api key token 申请地址：https://huggingface.co/settings/tokens 因为，该项目中使用了 huggingface 上的开源文生图模型生成图片，中文生成图片效果不大好，因此，本项目对中文进行了翻译，感谢有道，直接使用有道翻译，比较方便。翻译后，生成图的质量有一定的提高。 token 可以写入到 .env 文件里面 如果使用的 pollinations-ai ，则不填写 token 就 ok 安装 ffmpeg 因为视频合成声音需要 开始使用 python3.10 app.py http://127.0.0.1:5000/
免费使用支持离线部署使用的 txt2video 文本生成视频大模型(Text-to-Video-Synthesis Model)
代码讲故事
01-31 2016
免费使用支持离线部署使用的 txt2video 文本生成视频大模型(Text-to-Video-Synthesis Model)。 文本生成视频大模型(Text-to-Video-Synthesis Model)是一种基于深度学习技术的人工智能模型，它可以将自然语言文本描述转换为相应的视频。即通过输入文本描述，自动生成符合描述内容的视频。
Text-to-Video retrieval with S3D MIL-NCE | TF Hub
XianxinMao的博客
10-25 750
text_to_video_retrieval_with_s3d_milnce This tutorial demonstrates how to use the S3D MIL-NCE model from Tensorflow Hub to do text-to-video retrieval to find the most similar videos for a given text query. The model has 2 signatures, one for generating vid
体验文本到视频的趣味创作
m0_63642362的博客
04-28 719
随着大模型的不断迭代更新，现在的文本生成模型越来越强大，本项目中使用飞桨ppdiffusers库中的模型实现prompt文本输入生成趣味视频
视频合成：以文本作为输入合成视频
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
01-30 761
通过一句话来合成一段视频,
将文字跃然“视”上——Text2Video 文本转视频工具
gitblog_00515的博客
08-13 612
将文字跃然“视”上——Text2Video 文本转视频工具 项目地址:https://gitcode.com/gh_mirrors/te/text2video 在这个信息爆炸的时代，我们不断寻找着新的方式来消化和传播信息。今天，向您推荐的是一款创新的开源工具——Text2Video，它能够将一段文本转化为生动有趣的视频，让文字不再是静止的，而是跃然“视”上的动态体验。 项目介绍 Text2Vide...
Runway 技术浅析（六）：文本到视频（Text-to-Video）
m0_75253143的博客
12-02 1292
Runway 提供视频风格迁移功能，用户可以选择不同的艺术风格（如油画、水彩等），将生成的视频转换为相应的艺术风格。Runway 使用预训练的 NLP 模型，如 GPT-3 和 BERT，这些模型通过大规模文本数据的训练，能够理解和处理复杂的文本输入。感知损失通过对比生成视频帧和真实视频帧的感知特征，生成更逼真的视频内容。Runway 使用视频生成模型和帧间插值技术，确保延长的视频与原始视频保持一致的风格和动态效果。例如，输入“一只飞翔的鸟”，模型会生成一个包含“鸟”、“飞翔”等概念的语义向量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值