slowfast实现行为识别

该文主要介绍了在Windows和Xavier设备上搭建SlowFast行为识别的环境配置过程,包括CUDA和CUDNN的安装,以及PyTorch相关库的设置。在Windows环境下,详细阐述了CUDA和CUDNN的下载、安装及验证步骤,同时提到了环境变量的配置。在Xavier设备上,使用conda创建环境并安装所需库,特别指出了PyAV的安装问题及其解决办法。整个过程涉及到了虚拟环境的创建、相关Python库的安装以及Detectron2的配置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.window+slowfast实现行为识别

1.1环境搭建

1.首先安装cuda:https://developer.nvidia.com/cuda-downloads,按步骤安装。安装完之后用terminal输入nvc c -V即可看到自己安装的cuda版本。
2.安装cudnn(与自己的cuda版本要对应):https://developer.nvidia.com/rdp/cudnn-download我一开始下载的exe文件但是安装失败,出现developement和runtime安装失败,如下图
请添加图片描述
所以我又下载了zip文件,然后解压,将里面三个文件夹分别复制到对用的cuda文件中,如下图
请添加图片描述
请添加图片描述
请添加图片描述
复制完之后添加环境变量,如下图
请添加图片描述
请添加图片描述
然后在运行测试文件,如下图,分别说明了cuda和cudnn安装成功
请添加图片描述

请添加图片描述
3.创建python环境
遇到这个问题请添加图片描述
下载百度网盘资源:链接:https://pan.baidu.com/s/1rZZohYya9ZBSHBV2nm9urA
提取码:vplk
–来自百度网盘超级会员V1的分享运行exe文件即可,不行的话链接vpn就行。
这里总是遇到问题,所以换环境,安装了cuda10.0版本。
1.多个cuda和cudnn切换时:哪个版本不用时,就把那个环境变量中的path路径改为非实际路径,比如v9.0改为v9.0.111
需要用的版本,就在环境变量中将CUDA_PATH,NVCUDASAMPLES_ROOT改成对应的路径
2.安装git:https://npm.taobao.org/mirrors/git-for-windows然后添加环境变量。
3.配置虚拟环境

conda create -n slowfast python=3.6
conda activate slowfast
#安装git
conda install git
pip install torch===1.4.0 torchvision===0.5.0 -f https://download.pytorch.org/whl/torch_stable.html
# 安装fvcore
pip install 'git+https://github.com/facebookresearch/fvcore'
# 安装simplejson
pip install simplejson
# 安装PyAv
conda install av -c conda-forge
# 安装iopath
pip install -U iopath
# 安装psutil
pip install psutil
# 安装opencv-python
pip install opencv-python
# 安装tensorboard
pip install tensorboard
# 安装cython
pip install cython
#按装pytorch
conda install pytorch torchvision cudatoolkit=10.0 -c pytorch
#安装pytorch
conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=10.0 -c pytorch
# 安装detectron2
git clone https://github.com/facebookresearch/detectron2 detectron2_repo
cd detectron2_repo
python setup.py build develop

2.xavier+slowfast实现行为识别

2.1环境搭建


 conda create -n slowfast python=3.7
conda activate slowfast
pip install --upgrade pip
 pip install torchvision
 pip install torch
 pip install opencv-python
 pip install simplejson
 pip install -U fvcore
pip install torchaudio
pip install quote
 git clone git@github.com:PyAV-Org/PyAV
cd PyAV
source scripts/activate.sh
pip install --upgrade -r tests/requirements.txt
./scripts/build-deps#在root下还是权限不够,so
chmod +x scripts/build-deps
./scripts/build-deps
make
python setup.py install

到这儿一直有问题,可以参考https://blog.youkuaiyun.com/qq_21368481/article/details/89448226,利用博主的最后一种方法,直接除掉一些文件。






python setup.py build


git clone https://gitee.com/qiang_sun/SlowFast.git
cd SlowFast
python setup.py build develop
pip install portalocker

conda uninstall pyyaml
pip install -U fvcore
#安装pyav
sudo apt-get install -y python-dev python-virtualenv pkg-config
sudo sudo apt-get install -y   libavformat-dev libavcodec-dev libavdevice-dev  libavutil-dev libswscale-dev libavresample-dev
git clone https://github.com/PyAV-Org/PyAV.git
cd PyAV
pip install Cython
python setup.py build#出现gcc的错就按照红的的提示更改文件,成功安装av

pip install matplotlib pandas psutil
pip install pytorchvideo
pip install --upgrade pip
pip install pytorch torchvision torchaudio 

conda install simplejson
conda install ninja
pip install torch
cd /home/nvidia/detectron2-main/detectron2-main
python setup.py install


3.参考

[1]https://blog.youkuaiyun.com/souyan1991/article/details/109668593
[2]https://blog.youkuaiyun.com/qq_37296487/article/details/83028394

### Unity 中实现 SlowFast 动作识别 在 Unity 中实现 SlowFast 动作识别涉及到多个方面的技术集成,包括但不限于视频处理、机器学习模型部署以及实时数据流分析。此方法通常用于复杂的人体姿态估计和动作分类。 #### 准备工作环境 为了支持 SlowFast 模型的应用开发,需先配置好项目的基础架构: - 安装最新版本的 Unity 编辑器并创建一个新的 3D 项目。 - 导入必要的插件来辅助 GPU 加速计算与 TensorFlow Lite 或 ONNX Runtime 的对接,以便加载预训练好的 SlowFast 模型文件[^1]。 #### 数据采集与预处理 SlowFast 架构依赖于高质量的时间序列图像输入来进行有效的特征提取。因此,在实际应用前应准备一段包含目标行为样本的短视频片段作为测试素材。对于每一帧画面都需要执行如下操作: ```csharp // 假设已经获取到当前渲染的画面纹理 Texture2D frameTexture; Color[] pixels = frameTexture.GetPixels(); byte[] byteArray = System.BitConverter.GetBytes(pixels.Length); System.IO.File.WriteAllBytes(Application.dataPath + "/frame.png", byteArray); // 将图片转换成适合喂给神经网络的形式 float[,,] inputTensor = PreprocessImage(frameTexture); // 自定义函数完成像素值归一化等步骤 ``` #### 集成深度学习框架 考虑到性能因素,建议采用轻量化推理引擎如 TensorFlow Lite 来运行预先训练过的 SlowFast 网络权重参数集。通过 C# 调用这些 API 可以简化整个流程: ```csharp using UnityEngine; using Google.MLKit.Common; public class ActionRecognizer : MonoBehaviour { private Interpreter interpreter; void Start() { string modelFilePath = "Assets/Models/slowfast.tflite"; var options = new Interpreter.Options { NumThreads = 4 }; this.interpreter = new Interpreter(modelFilePath, options); // 初始化其他组件... } public float[] RecognizeAction(float[][] inputs) { // 执行预测逻辑 return null; } } ``` #### 结果可视化 最后一步是把得到的动作类别概率分布映射回游戏世界里的人物动画状态机中去更新角色的行为表现形式。这可能涉及设置特定触发条件下的过渡效果或是播放相应的音效资源等等[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是小z呀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值