AI论文探讨室·A+·第14期-Learning-based Video Motion Magnification

化秋毫为波澜:运动放大算法(深度学习版) 什么是运动放大(Motion Magnification)? 将视频中对应位置的运动进行放大,简单理解的话,就是找到时间段内的运动矢量,进行放大,然后权值叠加回去。 为什么需要运动放大? 因为很多自然界或者生物的 subtle behaviour 不易被肉眼察觉(如飞机翼的震动,受风影响摇晃的建筑,生物皮肤变化等等),这些微变化只有通过运动放大,才能更好地被机器或者人类来做后续的视频... 阅读详情

论文链接

项目地址

简要说明

        这篇文章是MIT&Google在ECCV 2018上发表的一篇文章,相比于我们在13期中介绍的,这篇文章提出质疑:当前流行的主要是依赖手动设计滤波来提取运动表现可能不是最优的方案。本篇作者提出使用深度学习算法来直接学习滤波。为了便于对数据进行训练,我们认真设计一个协同数据集,能够很好地捕获小的运动,使用两帧输入来训练。作者通过实现发现学习滤波能够在真实视频得到高质量结果,和以前相比有较少的振铃伪影和更好的噪声特性。虽然模型在训练中没有使用时间滤波器,作者发现时间滤波器可以与提取图像一起使用来放大到适中倍数,启用基于频率的运动选择。最后,作者发现学习滤波器与之前的索引滤波器具有很多相似之处。

和先前方法比较

系统框架

       该框架主要包含3部分:编码、控制、解码。在进行训练的时候,需要将两个视频帧输入到网络中,以及一个控制参数\alpha,输出是一个放大后的图像。

实验结果

更多《计算机视觉与图形学》知识,可关注下方公众号:

 

 

 

 

 

 

 

 

论文阅读-Learning-based Video Motion Magnifification 使用深度学习端到端地进行运动放大,不需要手工设计特征,从数据里自主学到滤波器。 阅读详情

相关推荐

Learning-based Video Motion Magnification代码+预训练模型data+测试视频数据baby

Learning-based Video Motion Magnification代码+预训练模型data+测试视频数据baby

【菜鸡读论文】Learning-based Video Motion Magnification

哈喽,大家好呀!这周有点开心,看到了一篇很有趣的论文。最近天气好热,明明已经十一月了,最近的温度却一直在25度以上,甚至有种可以过夏天,穿裙子的感觉。昨天纠结好久,想着今天要不要穿旗袍,因为买来之后就没怎么穿出去过,但又觉得毕竟是要去学校的,还是算了(注意仪表哈哈)。听说JOJO要来上海了,好开心!我真的好喜欢茸茸小天使!但是没找到帅气的动图,哭哭。真的好爱茸茸!!!放个迪奥大人的动图吧!(今日论文)让我们带着黄金精神,开始读这篇我觉得非常有价值的论文!

猫猫头的博客 1577

Github代码复现——自监督学习SimCLR跑自己的数据集(TensorFlow2)

Github代码复现——自监督学习SimCLR跑自己的数据集(TensorFlow2)

【亲测免费】 学习型视频运动放大(Learning-based Video Motion Magnification)实战指南

学习型视频运动放大(Learning-based Video Motion Magnification)实战指南 项目介绍 学习型视频运动放大技术,由Tae-Hyun Oh等作者提出并实现,能够让我们观察到肉眼难以察觉的小幅运动,如飞机翅膀的微小振动或风中摇摆建筑的细节。此技术通过深度卷积神经网络(CNN),替代传统手工设计的滤波器,以从实际示例中直接学习最优的运动特征提取方法。该技术减少了噪声敏...

gitblog_00533的博客 669

单目和多目视觉统一标定

单目和多目视觉统一标定 一.单目视觉标定 在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为相机标定(或摄像机标定)。无论是在图像测量或者机器视觉应用中,相机参数的标定都是非常关键的环节,其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此,做好相机标定是做好后续工作的前提,提高标定精度是科研工作的重点所在

吴建明wujianming_110117 2912

【学习体会】Lighttools8.4.0:矩形阵列光源+条形光源的光学仿真分析

在solidworks中设计了条形光源的基本结构: 由32*6个矩形led组成矩形光源阵列,如下所示 另存为step文件后,导入lighttools中,这里要设置模型的光学属性为:吸收体(机械) 因为我们设计的光源模型是一个整体,我们不能单个面的设置光源,比如说, 这样做的话并不会是这个面设置为光源,而是会把做一个模型都变成一个光源,如下 这显然不是我们想要的 那么,我们就在led位置上放置一个矩形面光源, 这样我们就放置好了一个面光源, 但是问题是,还有191...

LeonJin的博客 1万+

ubuntu14.04下运行Learning-based Video Motion Magnification代码

ubuntu14.04下运行Learning-based Video Motion Magnification代码 也可用于ubuntu16。 一、下载代码、预训练模型和测试视频: Learning-based Video Motion Magnification代码+预训练模型data+测试视频数据baby 二、安装所需要的环境: 注因本文的ubuntu在虚拟机上运行,安装不了tensorflow-gpu版,只能安装cpu版本(tensorflow==1.3.0)。若要安装GPU版的还需安装CUDA 8.

qq_38831822的博客 1799

高通 Gen AI 推理扩展 (GENIE)(5):实战指南与Engine API深度解析

本文深入解析高通Gen AI推理扩展(GENIE)的Engine API核心功能与实战应用,涵盖引擎实例化、多引擎动态切换、性能调优及跨平台部署等关键技巧。通过详细代码示例和性能数据,帮助开发者高效利用GENIE进行AI推理,提升应用性能与稳定性。

weixin_29065959的博客 466

ECCV 2018所有录用论文清单

ECCV 2018所有录用论文清单 ECCV 2018所有录用论文清单:http://openaccess.thecvf.com/ECCV2018.py 关于计算机视觉方向的最新论文可参考:daily-paper-computer-vision 部分论文 Semantic Segmentation 《Effective Use of Synthetic Data for Urban ...

阿木寺的博客 1万+

Apache Flink连载(一):Apache Flink是什么?

Apache Flink 是一个框架和分布式处理引擎,用于在。

qq_32020645的博客 1217

游戏引擎揭秘:大厂为何死磕自研?

游戏引擎本质与商业价值解析 游戏引擎是集成了渲染、物理、动画等核心功能的开发工具包,其价值在于让开发者免于重复编写底层代码,专注于游戏内容创作。商业引擎(如Unity/Unreal)虽降低了开发门槛,但头部厂商仍坚持自研引擎,主要基于以下考量: 经济性:长期项目分摊自研成本后,比商业引擎分成更划算; 可控性:完全掌握底层代码,能针对性优化核心玩法需求; 技术壁垒:专属引擎成为厂商的竞争优势,如米哈游的跨平台渲染技术; 项目适配:超大型游戏(开放世界/MMO)需要深度定制解决方案。 这种"短期高投入

本博客聚焦游戏开发技巧、创业实战心得及大学热门课程干货。这里既有技术深度,也有思维广度,无论你是开发者、创业者还是高校学子,都能在这里找到适合自己的成长之路! 264

关于2018-learning-based video magnification 的GitHub上复现代码的调试记录

题记:关于2018-learning-based video magnification的GitHub上的复现代码的调试记录 GitHub上的复现的代码:GitHub - ZhengPeng7/motion_magnification_learning-based: An unofficial implementation of "Learning-based Video Motion Magnification" in Pytorch. 注意:本人只对测试程序进行了调试,不涉及模型训练(不涉及训练数.

xxdragon126的博客 1513

基于STM32的智能宠物喂食系统设计与实现(代码+PCB )

STM32;DHT11;本系统的软件程序基于Keil MDK-ARM V5集成开发环境进行编写和编译。Keil MDK是ARM公司官方推荐的嵌入式开发工具,支持ARM Cortex-M系列微控制器的程序开发,内置ARM C/C++编译器、调试器和仿真器,具有代码编辑、语法高亮、工程管理和在线调试等功能,是STM32开发领域应用最为广泛的IDE之一。

3254968421的博客 74

探索视频运动放大:Motion_magnification_learning-based 项目推荐

探索视频运动放大:Motion_magnification_learning-based 项目推荐 项目介绍 Motion_magnification_learning-based 是一个基于 PyTorch 的开源项目,旨在实现 "Learning-based Video Motion Magnification" 论文中的视频运动放大技术。该项目提供了一个非官方的 PyTo...

gitblog_00663的博客 1023

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

【亲测免费】 基于学习的视频运动放大项目教程

基于学习的视频运动放大项目教程 1. 项目目录结构及介绍 motion_magnification_learning-based/ ├── data/ │ ├── README.md │ └── ... ├── models/ │ ├── README.md │ └── ... ├── scripts/ │ ├── README.md │ └── ... ├── src/ ...

gitblog_00544的博客 760

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

运动放大、视频放大、Video Motion Magnification、Video Magnification

目录 背景 方法 拉格朗日法 欧拉法 线性欧拉方法 非线性欧拉方法 深度学习法 总结 挖坑,运动放大。如果关注的伙伴们多,我会尽快更新,才疏学浅,我会把我了解到的知识在本系列中写出来。 背景 人类肉眼难以观察到细微的变化,然而重要的信息往往潜藏在其中,视频放大技术能够让我们更好地观察到视频中的这些变化,并对其进行深入的分析和利用。 方法 主要分三大类,拉格朗日法、欧拉法(线性、非线性)、深度学习法 拉格朗日法 《Motion magnification》 欧拉法

Alocus的博客 5029

谷歌MIT:微小运动放大算法的实现

原始论文题目:《Learning-based Video Motion Magnification》 作者:Tae-Hyun and Jaroensri, Ronnachai and Kim, Changil and Elgharib, Mohamed and Durand, Frdo and Freeman, William T and Matusik, Wojciech 本文算法基于ubu...

qq_34258054的博客 3919

ECCV 2018 完整论文集 -- List & 下载链接

下文列表为ECCV2018官网得到了今年接收论文列表,共779篇: 持续更新下载链接 Oral: Convolutional Networks with Adaptive Computation Graphs Progressive Neural Architecture Search Diverse Image-to-Image Translation via Dise...

TomRen 1万+

ECCV2018 Oral论文集

ECCV 2018 今年的ECCV将于9月8号在慕尼黑召开,本文将持续学习记录会议中的优秀文章。 Oral

TomRen 3564

视频运动放大系列(1)- Motion Magnification 2005

由Ce Liu 等人开发的Motion Magnification的算法在执行初始图像配准步骤之后,通过对特征点轨迹的稳健分析来测量不同物体的运动,并根据位置、颜色和运动的相似性来分割像素,将像素分配至每一物体层,最后对每层运动物体运动放大。

weixin_40244089的博客 1523

人脸识别中的活体检测算法综述

其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误,优化,源代码资源 1. 什么是活体检测? 判断捕捉到的人脸是真实人脸,还是伪造的人脸攻击(如:彩色纸张打印人脸图,电子设备屏幕中的人脸数字图像 以及 面具 等)2. 为什么需要活体检测? 在金融支付,门禁等应用场景,活体检测一般...

SIGAI_优快云的博客 2万+

欧拉影像放大算法(Eulerian Video Magnification)的原理和实现

引言 人类的视觉感知存在有限的感知域。对于超出感知域的变化,我们无法感知。然而,这类信号却可能蕴藏着惊人的秘密。 比如,血液循环使得人体的皮肤发生细微的周期性变化,这个裸眼无法感知的变化却和人的心率非常吻合。

guifeng93的博客 2万+
上一篇: AI论文探讨室·A+·第13期-Motion Magnification
下一篇: AI论文探讨室·A+·第15期-Underexposed Photo Enhancement using Deep Illumination Estimation
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值