CSPhD-winston的博客

EVBD。

这应该是torch、cuda版本问题（报错环境的PyTorch 1.8.1，Python 3.8(ubuntu18.04)，Cuda 11.1）在/root/EVAD/demo/下面的ava.json写入。ViT_B_16x4_demo.yaml写入。在/root/EVAD/demo/下面的。

创建mul环境安装ffmpeg。

我们先看看数据集的格式。

第一列代表batch维度的索引，第二代表类别id，第三四五六列代表xywh，最后一列是ai，代表anchor的索引（0、1、2）。上图中的p，展开后，有3层，每层的格子不一样（第一层80 80，第二层40 40，第三层20 20），因为越往下面走，特征图越小。在8张图片中，一共标注了42个标签，每个标签6个值，注意这42不是针对一张图像的，是对一个batch。把targets（3，42，6）和ai进行cat（3，42）拼接，沿着2的维度进行拼接。targets从（42，6）变成（3，42，6）

将下面的文件放到：ultralytics/ultralytics/datasets/这里使用YOLOv8 训练自定义数据集（SCB-Dataset3）在平台中上传数据，通过阿里云盘的方式上传。

rtdetr-project：https://github.com/z1069614715/objectdetection_script/blob/master/yolo-improve/rtdetr-project.md2023-10-24 YOLOV8、RTDETR改进项目介绍~(里面有较多二次创新、原创模块喔)2023-11-08 给YOLOV8换了个RT-DETR的TransformerDecoderHead后在VisDrone2019提升了4个点!2023-11-19YOLOV8、RTDETR改进

然后，我们重新组织这些行为数据，如图 6的步骤1所示，我们将整个视频中的每一位学生的行为集中在一个数组中，形成学生的原始行为序列，需要注意的是，由于行为的连续性，这些原始行为序列通常包含大量的连续重复行为ID，为了后续标准化与模型训练的方便，我们对原始行为序列进行重复删除的操作，然后对每个行为ID+1，这样做的目的是让行为ID不从0开始，如图 6的步骤2。训练结束后的模型，我们就用于对学生视频专注度的预测，图 6的步骤5。上面的代码资料分两部分，代码与数据。图 6 学生科学实验评估流程。

YOLOv10 安装 训练 测试 对比YOLOv7结果。

睁眼闭眼检测，对给定文件夹中的所有图片进行睁眼闭眼检测，并将带有检测结果的可视化图片保存到另一个文件夹中。如果在图片中未检测到脸部，代码会在图片上添加"No face"标签（红色字体），并保存结果。这是通过OpenCV库中的Haar级联分类器实现的。三种检测结果：1，没有检测到脸，no face 红色2，没有检测到睁眼，Eyes closed 红色，脸部边框 蓝色3，检测到睁眼，Eyes open 绿色，脸部边框 蓝色：包含待处理图片的输入文件夹路径。：保存处理结果图片的输出文件夹路径。

表情识别分类: resnet18,resnet34,resnet50, mobilenet_v2以及googlenet等常见的深度学习模型。面部表情识别由两部分组成：人脸检测与表情识别分类。如果网速问题无法下载，我已经同步到码云上（推荐）

├── yolov7.pt # YOLOv7 模型文件。在网上查到两个解决方案，但是都是把视频转化为图片，然后图片再检测，再把图片变成视频。│ └── output.mp4 # 检测结果视频。│── result.html # 前端页面模板。└── index.html # 前端页面模板。查看视频，是检测成功了，就是gradio无法在页面中呈现出来。可以看到，视频检测结束后，还是在网页端无法查看。

这两篇博客都有些问题，第一篇是我依托的平台倒闭了，所以这次在自己的机器上搭建；第二篇是搞复杂了点。

configs/detection/ava/my_slowfast_kinetics_pretrained_r50_4x16x1_20e_ava_rgb.py为配置文件地址。当然，如果你直接使用官网的代码，大概率会报错，因为跑slowfast的训练后，生成的训练日志里面，没有：loss_cls、top-5。对日志的分析，当然是需要先进行训练咯，为了能得到更加详细全面的训练日志，我们需要先知道，训练有哪些配置？这一小节抄的官网，因为我所使用的配置文件，几乎与官网相同，所以直接用官网的解析。......

7秒一个视频搭积木10001.mp4 30 36 42 48 54 75 86 110 140 146 270 280 290 310 530 540 550 560 570拿东西10001.mp4 7 13 66 80 126 330 575 80 210 360 370 370 598做饭10001.mp4 100 110 150 160 170 180 190 200 340 350 560画画10001.mp4 10 20 30 80 300 340 10 20 30 80 300 340

下载choose_frames_middle与VIA标注。

yolov5与deep sort 安装mmaction2 安装。

将现有的标签dense_proposals_train.pkl、train_all.csv分成train、val、test。在取名上，裁剪的视频帧存在与训练不匹配的问题，所以需要对/home/videoData/frames中的图片进行名字修改。在/home/AVA-6-seconds/mmaction2_YF/tools/data/ava/在/home/AVA-6-seconds/Dataset/annotations/下。原本的名字rawframes/20/20_000001.jpg。......

将现有的标签dense_proposals_train.pkl、train_all.csv分成train、val、test。在取名上，裁剪的视频帧存在与训练不匹配的问题，所以需要对/home/videoData/frames中的图片进行名字修改。在：home/AVA-6-seconds/mmaction2_YF/tools/data/ava/在/home/AVA-6-seconds/Dataset/annotations/下。原本的名字：rawframes/20/20_000001.jpg。

yolov5与deep sort 安装接下来使用deep sort来关联人的ID将图片与yolov5检测出来的坐标，送入deep sort进行检测其它标注文件的生成included_timestamps.txt然后在included_timestamps.txt 中写入action_list.pbtxtdense_proposals_train.pklrawframes在取名上，裁剪的视频帧存在与训练不匹配的问题，所以需要对/home/Dataset/frames中的图片进行名字修改例

github：https://github.com/Whiffe/Multi-person-collaborative-labeling-of-spatio-temporal-behavior-datasets-with-training码云：https://gitee.com/YFwinston/Multi-person-collaborative-labeling-of-spatio-temporal-behavior-datasets-with-training在/home/MPCLST/Da

在chooseVideoFrame中上传待检测的图片如果之前检测过，则要先做清除

apt-get updateapt-get install zipapt-get install unzipconda install x264 ffmpeg -c conda-forge -y制作缩小版ava数据集准备标注文件提前下载好：https://research.google.com/ava/download/ava_v2.2.zip然后上传文件至：AI平台的 /user-data/AVAFilemkdir -p /user-data/AVAFile/ava /user-data

首先准备好数据集：/user-data/studentVideo/clips下放着裁剪好的所有视频：10.avi到99.avi/user-data/yolov5File/下准备：Arial.ttf crowdhuman_vbody_yolov5m.ptapt-get updateapt-get install zipapt-get install unzipcd /homegit clone https://gitee.com/YFwinston/Custom-ava-dataset

目录1 最终要产生的标注文件2 AI平台3 数据集来源3.1 视频上传3.2 视频裁剪3.3 抽帧3.4 去掉多余的帧3.5 整合与缩减帧3.5 不整合的缩减4 yolov5与deep sort 安装4.1 安装4.2下载yolov5-crowdhuman权重4.3 测试4.4 报错解决 ckpt.t74.5 对choose_frames_all进行检测5 avaMin_dense_proposals_train.pkl5.1 格式转化，生成目标文件5.2 可视化目标文件6 导入via6.1 via3_to

如果在人密集的地方，yolov5检测效果不理想，本文将采用 yolov5-crowdhuman来解决该问题。本系列的链接00【mmaction2 行为识别商用级别】快速搭建mmaction2 pytorch 1.6.0与 pytorch 1.8.0 版本03【mmaction2 行为识别商用级别】使用mmaction搭建faster rcnn批量检测图片输出为via格式04【mmaction2 行为识别商用级别】slowfast检测算法使用yolov3来检测人！！！等论文发布后公开 ！！！！05【

下面是ava数据集的一部分第一列：视频的名字第二列：哪一帧，比如15:02这一帧，表示为902，15:03这一帧表示为903（这里是我在思考的地方，自定义数据集的时候，这个902，改成 2 可以么）第三列到第六列： 人的坐标值（x1，y1，x2，y2）第七列：动作类别编号第八列：人的ID针对第二列的思考，我使用代码将第二列的编号全部剪去900，代码与结果如下：代码：import csvminCsv2 = []with open('./data/ava/annotations/ava_

ava数据集可视化B站视频：https://www.bilibili.com/video/BV1yL411c7pR?spm_id_from=333.999.0.0前言这个训练的跟踪过程使用的数据集是缩小版的，我只去了ava数据集中的2个视频，2个视频加起来也有30分钟，这个也不小了。1 mmaction2 安装1.1 安装在AI平台中选择如下版本镜像：安装命令如下：cd homegit clone https://gitee.com/YFwinston/mmaction2.gitpi

github（新版）：https://github.com/Whiffe/mmaction2_YF码云（新版）：https://gitee.com/YFwinston/mmaction2_YF.gitgithub（老版本）：https://github.com/Whiffe/YF-OpenLib-mmaction2码云（老版本）：https://gitee.com/YFwinston/YF-OpenLib-mmaction2.gitmmaction2 官网：https://github.com/op

0，前言由于mmaction2与yolov5 deepsort的pytorch版本不同，所以需要对mmaction2的pytorch版本升级，原来是用的1.6.0，现在使用1.7.0。1，mmaction2 的安装记住这几个版本，pytroch1.8.0，python3.8，cuda11.1git clone https://gitee.com/YFwinston/mmaction2.gitpip install mmcv-full==1.3.8 -f https://download.ope

引言我最近一个月都在写论文，反反复复改了不下20次。我觉得还是写博客舒服，只要把思路写清楚就可以，不用在乎用词和语法问题。本文所写的改进方案适合数据集中数据存在不平衡的情况。数据越失衡，效果越好。二，项目搭建使用的项目的例子就用我之前的slowfast项目：01【mmaction2 slowfast 行为分析(商用级别)】项目下载02【mmaction2 slowfast 行为分析(商用级别)】项目demo搭建2.1 平台选择我还是用极链AI创建实例：2.2 开始搭建进入home

参考这篇博客gituhub上项目的ipynb代码图片标注-基于PyTorch的多标签图像分类[译]图像标注-基于PyTorch的多输出图像分类[译]Multi-Label Image Classification with PyTorch: Image TaggingMulti-Label Image Classification with PyTorch: Image TagginglearnopencvPyTorch-Multi-Label-Image-Classification-Ima

在之前的一篇文章，我介绍了slowfast采用sigmoid来实现多标签分类，我们知道faster rcnn采用softmax来实现多类分类，假如我们把softmax改成sigmoid，可以让faster rcnn变成多标签分类么？首先，我们要在detecton2中找到softmax的位置：detectron2_repo/detectron2/modeling/roi_heads/fast_rcnn.py中的：class FastRCNNOutputLayers(nn.Module):中的：

前言slowfast众所周知，是多标签分类，一个人是有多个动作，可能不止一个。参考的博客：Multi-Label Classification with Deep LearningMulti-Label Image Classification（多标签图像分类多标签分类（一) | CNN-RNN: A Unified Framework for Multi-label Image Classification多标签图像分类–HCP: A Flexible CNN Framework for Mu

前言对于人密集的地方，人在图片或者视频中的像素比较小，遮挡比较严重的场景，我们往往需要重新训练自己的faster rcnn权重，怎么训练自己的faster rcnn权重，我在之前的博客写的有：【detectron2 faster rcnn 训练自己的数据集】，这篇博客要讲的是，怎么使用把训练好的faster rcnn权重用在slowfast中。使用slowfast检测自己的视频，也可以参考我之前写的博客：【SlowFast复现】SlowFast Networks for Video Recogniti

前言一，准备1.1 下载项目下载Person_reID_baseline_pytorch地址：github：Person_reID_baseline_pytorch1.2 下载数据集下载Market1501数据集：Market1501下载好上面的两个之后二，环境搭建我们就正式开始2.1 官网安装教程在github上查看Person_reID_baseline_pytorch的安装说明：tutorial2.2 创建虚拟环境首先使用conda创建虚拟环境，github的Person

前言在之前我写了一篇博客：【detectron2 faster rcnn 训练自己的数据集】这篇博客是使用自己训练的faster rcnn权重对课堂上的学生进行检测，然后这篇博客要做的就是把检测后的结果裁剪出来，如下图：为什么要把这些人单独裁剪出来，原因很简单，要做人的ID匹配，在一个视频当中，比如15s的视频，每一秒取一帧，那么就是15张图片（我用ffmpeg裁出来好像又17张，这就奇怪了），这15张图片处理当中，一个比较重要的就是，确定每个人的ID，比如视频中的张三，从头到尾他的ID都应该是一样的

前言在课堂检测中，可以明显的发现，人虽然可以检测出来，但是人却不能被框全，比如举手的人，手框不到，如下图：上图就可以明显看到，人是框出来的，但是手臂没框出来，这就会给行为分类造成影响。下图是本文使用detectron2 faster rcnn 训练自己的数据集后的结果从上面的对比可以看出，改进点有如下：1，举手的人，原来框不到手，改进后的能框到手2，在人重叠的地方，原来的地方会出现框重叠，改进后不会出现3，遮挡严重的人，原来的检测不出，改进后可以检测出。下面就写一下，代码的实现过程：

前言在slowfast中，是先调用faster rcnn，框出人的位置，再把这些人丢进行slowfast的网络，但是再slowfast调用faster rcnn中，官方默认的阈值为0.9，也就是说，检测为人的概率为90%，才能丢进slowfast。这样就导致当画面中人比较多，比较小的时候，只有少数人能被框出来，那么调整阈值，以让更多的人被检测出来。...

中的一个， 每个dict对应一个图像，所需的keys取决于模型的类型，以及模型是处于训练模式还是评估模式。例如，为了进行推断，所有现有的模型都需要“image” key，以及可选的“height”和“width” key。：如果你只想使用现有的模型进行简单的推断，DefaultPredictor是提供这种基本功能的模型的包装器。用户可以实现支持任意输入格式的自定义模型。对于内部模型的推断，只需要 “image” ，而 “width/height” 是可选的。格式的模型，以及我们的model zoo中的。