那遁去的一

2021年4月，终于把目标检测（object detection）加到FFmpeg upstream了，有maintainer身份加持，还是交互了将近100封邮件，花了两个多月才完成upstream，这还不包括前面的开发时间，当然，这么多的交流也对最后的代码有很大的提升。当前目标检测只支持OpenVINO后端，后续还将尽快加入更多功能，比如基于TensorFlow模型的目标检测、支持OpenVINO后端的目标识别、目标检测和识别结果的可视化等。有了这样的基础代码后，就方便进行很多扩展了，如有这样的事情发生

dnn_processing是FFmpeg中的一个视频filter，可以支持所有基于深度学习模型的图像处理算法，即输入和输出都是AVFrame，而处理过程使用的是深度学习模型。为什么要开发这样一个filter，因为作为FFmpeg DNN模块的maintainer，希望可以有更多的人来使用这个模块，提出意见和批评，乃至发出patch来改善这个模块，dnn_processing就是一个很好的使用者入...

这大概是在2017年底的时候写的，当时还研究了一下faster rcnn和ssd的推理过程。后来YOLO v3出来了，这个就放在一边没理了。现在发出来凑个篇数。YOLO (You only look once) 是业界第一个端到端的图像目标检测方法，和Faster RCNN相比，不再需要RPN（region proposal network）来生成候选区域ROIs，因此，检测速度更快，更加可以满...

ROI (region of interest) encoding是一项基于感兴趣区域的视频编码技术，对图像中感兴趣的区域减少量化参数值（qp：quantization parameter），从而分配更多码率以提升画面质量，而对不感兴趣的区域则增加量化参数值（qp），从而分配更少码率（这部分区域的画面质量会因此有所下降），这样，在不损失图像整体质量的前提下，可以节省网络带宽占用和视频存储空间，或者...

FATE (FFmpeg Automated Testing Environment) 是FFmpeg社区开发的自动化测试框架，支持对FFmpeg API的测试，也支持对FFmpeg内部函数的测试。对FFmpeg video filter的测试，就属于对API的测试。之前为了为一个video filter增加fate测试，大概研究了一下，感觉FFmpeg官方主页的资料还可以更详细，在酝酿写一篇介绍...

FFmpeg是什么，通俗的说，在看片子的时候，需要用到视频播放器，而很多视频播放器的底层用的就是FFmpeg。这是我在2019年在FFmpeg深度学习模块中所做事情的总结，由于我在19年是这个模块的主要贡献者，所以，这个总结也差不多就是FFmpeg深度学习模块的现状总结了。在2018年的时候，Pedro Arthur ()带着学生Sergey Lavrushkin ()完成了一个GSoC项目，将...