惊！读取大脑重建高清视频，Stable Diffusion还能这么用

原创已于 2024-12-26 17:34:00 修改 · 534 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#音视频 #stable diffusion #人工智能 #AIGC #SD #AI视频

于 2024-11-29 09:34:03 首次发布

现在，AI可以把人类脑中的信息 ，用高清视频 展示出来了！

例如你坐在副驾所欣赏到的沿途美景信息，AI分分钟给重建了出来：

看到过的水中的鱼儿、草原上的马儿，也不在话下：

这就是由新加坡国立大学和香港中文大学共同完成的最新研究，团队将项目取名为MinD-Video 。

这波操作，宛如科幻电影《超体》中Lucy读取反派大佬记忆一般：

引得网友直呼：

推动人工智能和神经科学的前沿。

值得一提的是，大火的Stable Diffusion也在这次研究中立了不小的功劳。

怎么做到的？

从大脑活动中重建人类视觉任务，尤其是功能磁共振成像技术 （fMRI）这种非侵入式方法，一直是受到学界较多的关注。

因为类似这样的研究，有利于理解我们的认知过程。

但以往的研究都主要聚焦在重建静态图像，而以高清视频形式来展现的工作还是较为有限。

之所以会如此，是因为与重建一张静态图片不同，我们视觉所看到的的场景、动作和物体的变化是连续、多样化的。

而fMRI这项技术的本质是测量血氧水平依赖（BOLD）信号，并且在每隔几秒钟的时间里捕捉大脑活动的快照。

相比之下，一个典型的视频每秒大约包含30帧画面，如果要用fMRI去重建一个2秒的视频，就需要呈现起码60帧。

因此，这项任务的难点就在于解码fMRI并以远高于fMRI时间分辨率的FPS恢复视频。

为了弥合图像和视频大脑解码之间差距，研究团队便提出了MinD-Video的方法。

整体来看，这个方法主要包含两大模块，它们分别做训练，然后再在一起做微调。

这个模型从大脑信号中逐步学习，在第一个模块多个阶段的过程，可以获得对语义空间的更深入理解。

具体而言，便是先利用大规模无监督学习与mask brain modeling（MBM）来学习一般的视觉fMRI特征。

然后，团队使用标注数据集的多模态提取语义相关特征，在对比语言-图像预训练（CLIP）空间中使用对比学习训练fMRI编码器。

在第二个模块中，团队通过与增强版Stable Diffusion模型的共同训练来微调学习到的特征，这个模型是专门为fMRI技术下的视频生成量身定制的。

如此方法之下，团队也与此前的诸多研究做了对比，可以明显地看到MinD-Video方法所生成的图片、视频质量要远优于其它方法。

而且在场景连续变化的过程中，也能够呈现高清、有意义的连续帧。

针对各位初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

GPT的定义与概述
GPT与其他AI对比区别
GPT超强记忆力体验
万能GPT如何帮你解决一切问题？
GPT表达方式优化
GPT多类复杂应用场景解读
3步刨根问底获取终极方案
4步提高技巧-GPT高情商沟通
GPT深度玩法应用场景
GPT高级角色扮演-教学老师
GPT高级角色扮演-育儿专家
GPT高级角色扮演-职业顾问
GPT高级角色扮演-专业私人健身教练
GPT高级角色扮演-心理健康顾问
GPT高级角色扮演-程序UX/UI界面开发顾问
GPT高级角色扮演-产品经理
GPT高级技巧-游戏IP角色扮演
GPT高级技巧-文本冒险游戏引导
GPT实操练习-销售行业
GPT实操练习-菜谱推荐
GPT实操练习-美容护肤
GPT实操练习-知识问答
GPT实操练习-语言学习
GPT实操练习-科学减脂
GPT实操练习-情感咨询
GPT实操练习-私人医生
GPT实操练习-语言翻译
GPT实操练习-作业辅导
GPT实操练习-聊天陪伴
GPT实操练习-育儿建议
GPT实操练习-资产配置
GPT实操练习-教学课程编排
GPT实操练习-活动策划
GPT实操练习-法律顾问
GPT实操练习-旅游指南
GPT实操练习-编辑剧本
GPT实操练习-面试招聘
GPT实操练习-宠物护理和训练
GPT实操练习-吸睛爆款标题生成
GPT实操练习-自媒体爆款软件拆解
GPT实操练习-自媒体文章创作
GPT实操练习-高效写作推广方案
GPT实操练习-星座分析
GPT实操练习-原创音乐创作
GPT实操练习-起名/解梦/写诗/写情书/写小说
GPT提升工作效率-Word关键字词提取
GPT提升工作效率-Word翻译实现
GPT提升工作效率-Word自动填写、排版
GPT提升工作效率-Word自动纠错、建议
GPT提升工作效率-Word批量生产优质文章
GPT提升工作效率-Excel自动化实现数据计算、分析
GPT提升工作效率-Excel快速生成、拆分及合并实战
GPT提升工作效率-Excel生成复杂任务实战
GPT提升工作效率-Excel用Chat Excel让效率起飞
GPT提升工作效率–PPT文档内容读取实现
GPT提升工作效率–PPT快速批量调整PPT文档
GPT提升工作效率-文件批量创建、复制、移动等高效操作
GPT提升工作效率-文件遍历、搜索等高效操作
GPT提升工作效率-邮件自动发送
GPT提升工作效率-邮件自动回复
GPT接入QQ与QQ群实战
GPT接入微信与微信群实战
GPT接入QQ与VX多用户访问实战
GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述，AI绘画的应用领域，PAI绘画与传统绘画的区别，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。