本文探讨了Eulerian Video Magnification (EVM)技术，如何通过结合光流法和泰勒级数，放大视频中的微妙变化，如皮肤色泽变化、微表情和微小运动。方法包括金字塔分解、滤波和一阶泰勒展开，展示了实验中放大脉搏的效果。但同时指出了放大可能带来的噪声放大问题。
《Eulerian video magnification for revealing subtle changes in the world》（EVM）
目录
《Eulerian video magnification for revealing subtle changes in the world》（EVM）
背景
视频的时空处理相结合可以放大细微的变化，从而揭示周围世界的一些重要方面。如人类皮肤的颜色随血液循环而略有变化，细微表情和微小运动（脉搏，心率，桥梁变化等）等人类难以肉眼观测到的方面放大后，方便进行后续分析。
方法
如上图所示。EVM 是基于光流法并利用一阶泰勒展开来实现运动放大的一种经典方法。可以揭示和放大视频中的小动作和变化，EVM 首先将输入帧进行金字塔分解（空间分解），应用滤波于每个金字塔内的级别，而不是原始图片上的级别，因为目标是放大金字塔各个级别包含运动频率。然后，该技术将所需频率乘以放大系数α(由用户定义）; EVM 放大实际运动并允许我们可以识别肉眼无法察觉的运动,所需的放大值频率被加回到相同级别的未放大的频率以获得最终视频夸张的动作。
下面分别解释上一自然段中黑色部分。
金字塔分解
金字塔分解，将图像应用高斯模糊核，将原图与模糊后的图像相减得到拉普拉斯金字塔。
即拉普拉斯金字塔是由高斯金字塔得来的，我们将原始图像通过与卷积核进行卷积以及隔行隔列的下采样（减小尺度）,重复这一过程，我们就可以得到完整的高斯金字塔。
将高斯金字塔的最顶层隔行隔列且与同一卷积核卷积得到上采样图像，将同层的高斯金字塔与该上采样图像做差，得到与该层拉普拉斯金字塔，重复这一过程就得到全部的拉普拉斯金字塔。
如果我们用上采样图像与拉普拉斯金字塔对应层相加就会得到同层高斯金字塔，重复这一过程我们就能得到原始图像。（用于EVM最后的图像重建）
滤波
欧拉视频放大采用标准视频序列作为输入，应用空间分解之后，然后对帧进行时域滤波。对特定信号放大之后，合成重构，得到结果。
低通滤波：滤除高频成分保留低频成分的方法
高通滤波：突出高频成分而使低频分量相对受到抑制的方法
带通滤波：保留特定频段的波的同时屏蔽其他频段
如下为不同的滤波器
上图列举的有三种滤波器，理想带通滤波器、巴特沃斯滤波器、无限冲激响应滤波器。一般来讲对于颜色的放大，我们选择理想带通滤波器，而对于动作的放大我们考虑巴特沃斯滤波器或者无限冲激响应滤波器。这是因为颜色的变化比较静思，我们需要陡峭的截止频率，以防止颜色观察错误。而对于运动放大比较‘’粗放‘’，若选用的频域滤波器具有陡峭的变化，则会使滤波结果图像产生“振铃”现象，我们选用巴特沃斯滤波器或者无限冲激响应滤波器可以避免。
用I(x,t)表示图像在空间x处和在时间t处的强度，则有
其中δ （t）代表位移函数，即代表从0到t时刻x的变化。使用一阶泰勒级数展开，则得到如下分解式子，
对I(x,t)使用带通滤波器进行滤波，δ （t）处于滤波的频带范围内，假设提取出了f（x）以外的所有信号，即B（x,t）,如下
乘以放大系数α
对上式子进行放大处理，即乘以放大因子α之后与原信号相加：
联立上述式子，得到
之后利用泰勒展开式可以得到输出信号
上式子表明运动放大的整个过程，f（x）在时刻t的位移δ （t）被放大了（1+α）倍
加回
参考金字塔分解，重新看一下。
实验
我利用文章开源代码进行了实验，自行拍摄了一段脉搏变化的视频并进行放大，结果如下。无法上传视频好像，便截了关键图。
原始视频帧：
放大后的脉搏：
总结
由于基于光流思想的EVM算法采用修改运动区域像素值强度的方式实现运动信号的放大，当无法区分噪声信号和运动信号时，在放大信号的同时会一并将噪声放大，从而湮没运动信号，进而产生图像的伪影及运动信号的损坏，影响有效信息的提取。
EVM适合在高空间频率下使用较小的放大倍数，并且当放大倍数增加时会显著放大噪声。
本文为该运动放大系列下文章，系列目录如下：
https://blog.youkuaiyun.com/Crystal_remember/article/details/116781912
扫一扫
6519
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
