基于tf-openpose的动作识别实现街头霸王5对战项目

记录：基于tf-openpose的动作识别实现街头霸王5对战项目

基于开学2个月的学习，总算是对深度学习有了一些入门的感觉。目前，通过修改图片识别的DNN神经网络代码，使之成为了一个可以对人体部位坐标进行分类的模型。在做好了这个基础的雏形的模型后，终于开始实质项目的开发了。

数据的收集

在与同研究室的修士一年生讨论后，决定了目前最优先的事务“数据的收集”。想法是，通过CSV文件去记录数据。人体的骨骼坐标数据可以通过tf-openpose直接读取图像而获得，因此准备将tf-openpose解析出的图像骨骼坐标存入CSV文件中构成一个个招式的表格。而每个招式对应表格的表头为：ID，帧数（第几帧），部位坐标。
拿波动拳来举例：
ID：为了记录各种各样的波动拳，例：ID为1是标准的波动拳，ID为2是打偏了的波动拳，ID3是打的很夸张的波动拳等等。
帧数：每一个ID的波动拳会有各种各样的帧数的图像构成。可能20帧构成完整的波动拳也可能10帧能够构成完整的波动拳。
部位坐标：（headx,heady）（kneex,kneey）等等。
通过摄像机去拍摄一个完整的波动拳视频，去头去尾（与波动拳无关的动作都cut掉），然后把短动画的每一帧的图片都提取出来，并交给tf-openpose去解析坐标位置，并记入CSV文件中。
下周由于大学一年级前来参观研究室，在取得其肖像权的许可后，应该可以免费的获得许多有益的数据。23333
目前需要通过实验确定的要素是摄像头与玩家的距离设定为多少比较好。

训练方法

因为本年度的街霸五动作识别项目需要导入时间的要素提高游戏时动作识别的精度，所以通过商讨，目前的得出了2个预想的可以去实现的方法。

一. 使用具有时间序列性质的数据去训练

二. 分割招式为多个子招式 利用依次出现的子动作去识别一个招式

因为马上又暑假实习说明会，博文最后再写。