Will Lin的博客

环境：Windows+VisualStudio2015+ C++ +OpenCV2.7.9之前尝试写过基于HSV颜色空间的肤色识别程序，发现效果不甚理想，环境噪声比较大，而且光照变化时的检测效果不好。正好看到了一篇论文《基于HSV与YCrCb颜色空间进行肤色检测的研究》。里面针对HSV和YCrCb空间的各个通道统计了一组不同光照条件下的肤色图像，得到了如下结果可

之前两次分别介绍了video analysis中的action recognition 以及 temporal action detection 这两个领域。这两个领域算是对视频mid-level的理解，而我最近看论文主要在关注如何去理解视频的高层语义（high-level)信息，这方面一个重要的领域就是video captioning。video caption

本文投稿于极视角公众号，链接为文章链接.也欢迎大家关注我的知乎专栏CV论文笔记及其他。上一篇笔记介绍了 Action Recognition 领域的研究进展。Action Recognition主要是用于给分割好的视频片段分类，但实际中大部分视频都是未分割的长视频。所以这就引出了今天要介绍的领域：Temporal Action Detection

注：本文为原创文章，如需转载请先私信联系。最近参加的sohu图文匹配竞赛在这周二在北京举办了决赛，虽然期末忙没去成，但也全程视频直播围观了比赛。我所在的团队(“中国国家跳水队”，排名如队名，一度严重跳水)获得了初赛第3, 复赛第9, 决赛第6的成绩，正好擦边获得了三等奖。参加这次比赛的初衷是作为机器学习课程的大作业，这两天写了课程报告，所以将报告内容修改了一下进行分享。主要分为三个部分，分别为比赛背

这篇笔记主要介绍我今年上半年投稿到ACM Multimedia会议的工作。这篇论文的实验大概从寒假放假回来后开始，在ICCV截稿前一个礼拜开始准备论文，但时间太赶没能完成实验和论文写作，所以花了一个多月完善后投稿了ACM multimedia。ACM multimedia 今年取消了long/short paper的区分，而是改为oral/poster paper，这两者均为9页长度（8页正文，1页

2017年马上要过去，自己也在时序动作检测这个方向正好做了一年时间，所以最近整理了一下今年各大视觉会议上（CVPR，ICCV，ACMMM，BMVC，AAAI等）时序动作检测这个方向的论文，供大家参考。关于Temporal Action Detection (Localization) 时序动作检测这一方向的介绍，可以见我之前的专栏文章： Video Analysis 相关领域解读之Temporal

在行为识别的iDT算法中，主要使用了HOG，HOF，MBH和Dense Trajectory四种特征。这里主要对前三者进行介绍。1. HOG特征此处HOG特征的介绍转载了zouxy09大神的文章  http://blog.youkuaiyun.com/zouxy09/article/details/7929348/方向梯度直方图（Histogram of Oriented Grad

搬运自我的知乎专栏：https://zhuanlan.zhihu.com/wzmsltw  。欢迎大家关注。CVPR 2017 这几天开始在夏威夷火热举行，CVPR’17 上举行的各类challenge在近期也纷纷落下帷幕。在过去的两个多月时间里，我在赵旭老师和寿政学长的指导下，参加了CVPR‘17 上举办的 ActivityNet Large Scale Activity Rec

搬运自我的知乎专栏：https://zhuanlan.zhihu.com/wzmsltw  。欢迎大家关注。最近ICCV 2017公布了论文录用的情况，我照例扫了一遍论文列表寻找感兴趣的文章。“WhatActions are Needed for Understanding Human Actions in Videos?”[arXiv 链接] 一文是我觉得很有趣的一篇文章。这

本文投稿于AI科技评论公众号。视频中的人体动作分析是计算机视觉研究领域中的一个重要方向，包括动作分类，时序动作检测，时空动作检测等等方向。前几天日本东京大学在 arXiv 上放出的一篇论文（大概是 CVPR 投稿文章吧）提出了一个新的人体动作分析问题：第一人称视频中的行人轨迹预测问题，并提出了一个新的数据集以及一个新的行人轨迹预测算法。论文的题目为：Future Person Lo

前两天在微信上看到这条新闻 ，百度搞了一个数据集开源计划 Baidu Research Open-Access Dataset (BROAD)，其网址为 Baidu Research Open-Access Dataset。首期开放了3个数据集，其中有一个数据集 称为 Video Highlights 。我发现这个数据集与我研究的temporal action detection 以及temp

在过去一年中，视频理解相关的领域涌现了大量的新模型、新方法，与之相伴的，今年也出现了多个新的大规模的视频理解数据集。近期，MIT-IBM Watson AI Lab 就推出了一个全新的百万规模视频理解数据集Moments-in-Time[1]。虽然没有之前的YouTube-8M数据集大，但应该是目前多样性，差异性最高的数据集了。该数据集的任务仍然为视频分类任务，不过其更专注于对“动作”的分类，此处

在视频行为识别（action recognition）方向，目前最常见的网络框架有两类，一类是直接将视频作为输入的3D卷积网络，另一类即是将图像以及光流（optical flow）分别作为输入的two-stream网络。目前two-stream类的方法在效果上还是明显要优于3D卷积类的方法，本文主要讨论two-stream类方法中光流的应用。虽然光流在two-stream类的方法里被广泛应

视频理解算法有很多的应用场景，包括视频推荐、监控分析、人机交互等等。在这些真实的应用场景中，通常对算法的实时性有很高的要求。现有的行为识别方法还未能在分类的准确性和运行速度都达到比较好的效果（双流类的方法效果较好，但光流等步骤使得速度很受限；3D 网络类的方法目前的精度和速度也都还不够理想）。所以在保证分类效果的前提下，提高网络的运行速度是当前一个很重要的研究课题。针对这个问题，这篇论文笔记主...

这篇文章投稿在极视角公众号，微信链接 随着深度学习技术的发展，以及计算能力的进步（GPU等），现在基于视频的研究领域越来越受到重视。视频与图片最大的不同在于视频还包含了时序上的信息，此外需要的计算量通常也大很多。目前主要在做视频中动作定位相关的工作，为了开拓思路，读了不少视频分析相关领域的文章，所以打算写几篇博客，对视频分析相关的几个领域做一个简要的介绍。这篇主要介绍Action Recogniti

注：本文首发在微信公众号-极市平台。如需转载，请联系微信Extreme-Vision这篇文章主要介绍Zheng Shou在CVPR2016上的工作”Temporal action localization in untrimmed videos via multi-stage cnns”[1]。之后会再介绍他在CVPR2017 上的新工作。首先介绍一下这篇文章要解决的问题。视频中的人体行为识别主要包

注：本文首发在微信公众号-极市平台。如需转载，请联系微信Extreme-Vision卷积神经网络（CNN）近年被广泛应用于计算机视觉中，包括分类、检测、分割等任务。这些任务一般都是针对图像进行的，使用的是二维卷积（即卷积核的维度为二维）。而对于基于视频分析的问题，2D convolution不能很好得捕获时序上的信息。因此3D convolution就被提出来了。3D convolution 最早应

最近在做毕业设计，其中一个部分要实现对视频序列中人手位置的跟踪。因此先写了人手的检测程序，下一步基于检测程序再用camshift算法做人手的跟踪。目前完成的程序在我的笔记本上运行大概是一帧80-100ms，直接用检测算法来做跟踪算法其实也马马虎虎可以用了。 开发环境如下：系统：Windows 10IDE：Visual Studio 2013语言：C++算法库：OpenC

Stacked Fisher Vector是Xiaojiang Peng在“Action Recognition with Stacked Fisher Vectors”一文中提出的用于动作识别的算法。SFV与FV结合的方法达到了当时state-of-the-art的结果。   上一篇介绍了Fisher Vectors的基本原理。FV的码书训练与编码过程为：1.选择GMM中K的大小

近期在做在线动作识别的项目，阅读了不少文献，发现现有的方法基本都是离线的action recognition和action detection（离线指这些算法都是在处理切割好的视频片断）。而online action detection还没有很好的方法。以下给出我总结的动作检测/识别问题的分类及一些研究进展。Action Recognition目的：判断一个视频片断中某

之前在ubuntu下用github上的脚本一键安装了OpenCV，最近在用一个密集光流计算程序时发现需要用gpu版本的OpenCV，因此需要在编译opencv时选择CUDA支持。在过程中遇到了各种问题，主要参考了以下两篇内容http://blog.aicry.com/ubuntu-14-04-install-opencv-with-cuda/http://answers.openc

现在在上数字图像处理的课程，最近的一次作业要求不用OpenCV自带的滤波器函数来实现几种滤波器，以实现对加入椒盐噪声的图像的图像恢复。也是对markdown编辑器的一次练习。椒盐噪声椒盐噪声是一种很简单的噪声，即随机将图像中一定数量的像素点设置为0（黑）或255（白）。由于看起来好像在图像上撒了椒盐一样，故被称为椒盐噪声。

近期在看的动作识别相关的工作中fisher vector及其改进版本被广泛的应用，因此打算从Fisher Vector开始入手整理相关知识。参考的博客内容：http://blog.youkuaiyun.com/ikerpeng/article/details/41644197 从高斯分布开始介绍了FV，比较易于理解http://blog.youkuaiyun.com/happyer88/art

转载请注明出处：在上一篇笔记：iDT算法 中，对iDT算法的原理做了简单的介绍。由于iDT算法提供了算法源码，自己也用它做了不少实验，因此介绍一下其代码的使用方法，并对源代码做一些解析。iDT算法的代码在作者个人主页可以下载到，也可以点击此处下载：iDT算法源码 。除了本篇博客之外，还有iDT用法及源码剖析 这篇文章介绍的也不错，供参考。基本功能iDT算法框架中还包括Fisher Vector编码和

iDT算法是行为识别领域中非常经典的一种算法，在深度学习应用于该领域前也是效果最好的算法。由INRIA的IEAR实验室于2013年发表于ICCV。目前基于深度学习的行为识别算法效果已经超过了iDT算法，但与iDT的结果做ensemble总还是能获得一些提升。所以这几年好多论文的最优效果都是“Our method+iDT”的形式。此前由于项目原因，对iDT算法进行了很多研究和实验，故此处对其核心思路与

这篇笔记主要是对今年ECCV2016上的论文:POI:Multiple Object Tracking with High Performance Detection and Appearance Feature 进行整理. 这篇文章的基本思路是在每帧上用检测器检测行人位置,在每帧之前利用行人检测框的表观特征(Appearance Feature)进行前后帧行人框的匹配,从而实现对行人的跟踪.所以这

安防作为近年最热门的计算机视觉研究落地方向，与视频分析研究有着很紧密的关系。在真实的监控视频中，一个常见的需求就是要自动识别视频流中的异常事件，也就是异常事件检测任务（Anomaly detection)。这个任务有许多的难点，比如异常事件发生的频率很低，导致数据的收集和标注比较困难；异常事件的稀少导致训练中的正样本远少于负样本；在监控场景中，不管是通常（normaly）还是异常（a...