用你自己的数据 训练一个带V-JEPA2 的classifier

已于 2025-07-02 18:18:46 修改
阅读量55 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 鼠鼠的AI笔记 文章标签： 人工智能 算法 笔记 facebook
于 2025-07-02 17:44:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013302570/article/details/149073971

V-jepa2 出来了，V-Jepa1 就不用管了

Demo Taste

准备下载

  1. 测试用的视频（爱用什么video用什么）
wget https://huggingface.co/datasets/nateraw/kinetics-mini/resolve/main/val/bowling/-WH-lxmGJVY_000005_000015.mp4
  1. SSV2 的 Json (最后classify要借用)
wget https://huggingface.co/datasets/huggingface/label-files/resolve/d79675f2d50a7b1ecf98923d42c30526a51818e2/something-something-v2-id2label.json
  1. Hugging face 直接可用的权重

可以提前下载，然后在取用时放absolute model path
https://huggingface.co/facebook/vjepa2-vitl-fpc16-25

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Yolo v5 长方形 训练修改
EmoC的博客
04-25 2647
感谢，以下内容改自：http://t.csdn.cn/37m2w dataloaders.py # YOLOv5 🚀 by Ultralytics, GPL-3.0 license """ Dataloaders and dataset utils """ import contextlib import glob import hashlib import json import math import os import random import shutil import time from it
python 加速(1)
EmoC的博客
06-15 2588
因为要修改yolo系列里NMS处的计算，如果用python，速度巨慢。torchvision 有自己的加速后的NMS function。但是不和形变后的IOU通用。因此需要做一个类似的。回看torchvion, 发现里面有cpp的文件，因为之前没有接触过加速（资源比较丰富）。C++ 并不是加速NMS那步操作的解药，解药是CUDA kernel。因此，如果要加速任何的function在model里，CUDA kernel 是最终目的。自己之前误入歧途，以为C++就能加速一切。
Meta V-JEPA 2：革命性的视频联合的世界模型
lovely_yoshino的博客
06-18 681
Meta AI的V-JEPA 2视频理解模型通过自监督学习构建世界模型，在动作预测和机器人规划任务中表现优异。该模型采用联合嵌入预测架构，无需标注数据即可学习物理规律，相关代码已开源。用户可使用Compshare平台的4090算力资源快速部署V-JEPA 2环境，平台提供镜像一键安装，助力AI研发。
51c自动驾驶~合集42
whaosoft~aiotの开发板商城
12-20 1381
现有激光雷达语义分割的SOTA方法通常包含专门为机械旋转激光雷达设计的归纳偏置。这限制了模型在其他类型激光雷达技术中的通用性，并使超参数调整变得更加复杂。为了解决这些问题，上海交通大学团队提出了一种通用的框架SFPNet，用稀疏焦点机制代替窗口注意力机制，以适应市场上流行的各种类型的激光雷达。SFPNet能够提取多层上下文信息，并使用门控机制动态聚合不同层次的信息。作者还提出了一种针对工业机器人应用场景的新型混合固态激光雷达语义分割数据集S.MID。
Whisper
EmoC的博客
11-30 1898
Whisper 代码详解
自己训练 PaddleOCR PP_OCRv4
EmoC的博客
07-04 1741
所以，如果你的数据像我的一样的话，100%确定是水平的框，不是斜着的，那么请放心大胆把这两行注释了，你会发现数据导出的一片满意~尽管在模型训练里添加了旋转的数据增强，但是旋转过大的数据直接增加模型训练难度，而且加入后对原本识别好的有所下降, 所以还是看时间，如果时间够多，增加epochs，时间少，就不要给模型加大训练难度了。这时，你的terminal会有路径变化，为了以防万一，可以ls一下，看看当前的路径（默认是训练的文件夹）有没有你需要的。检查了默认的数据增强，按照官方建议，我要把概率提高到0.6。
openCV的CUDA GPU 版本安装 （Ubuntu windows 通用）
EmoC的博客
10-22 1694
例子：/media/xxx/cozynest/anaconda3/envs/detection/lib/python3.9/site-packages/cv2/python-3.10。这里有可能会出现configure的文件找不到的错误，可以直接copy paste Python 版本的文件，根据缺失文件的名字添加。这样放的原因是我Ubuntu的Home容量不够多，导致我需要把这些东西放在另一个盘上，其次是这样安装比较干净。以下是Python3相关会填入的内容。2：下载后的两个包裹会放在以下结构。
YOLO NAS note 1
EmoC的博客
05-18 1676
Yolo-Nas 的代码比YOLO v8 还恐怖。之前的YOLO数据可以通过：coco_detection_yolo_format_train， 和 coco_detection_yolo_format_val 自动转。
Towards Robust Blind Face Restoration with Codebook Lookup Transformer
EmoC的博客
01-18 1141
这个projec相对codeformer已经是老一些的了，CodeFormer paper说自己的效果比这个更好。有看了这个视频，它借用了R-ESRGAN 4x 和 GFPGAN 50%，既保留了一些人物特征，又有了更好的效果。
Transformer for CV
EmoC的博客
11-29 1033
Transformer 也不适用batch norm，Batch由GPU操作，但是一般的GPU顶多2个Batch，按照上一个内容，计算出12，这样的Batch size，对GPU来说为难了。对sequence的data不好，因为sequence的长度不一，那么batch norm用的mean 和 std 就不能很好的将每个feature的分布准确算出。而分的大块可能会错失细节信息。以上是数学里的计算方式，但是在代码里，以上步骤不好操作，因此，目前的GELU是通过sigmoid 或者 Tahn 估计出来的。
多人强化学习
EmoC的博客
12-04 921
这里有个后面流传很广的算法：COMA(counterfactualmultu-agent)文中有提到最简单的policygradient的形式是，公式如下：∇J(θ)=E[∑∇logπ(a|s)G它用MonteCarlosampling来estimateexpectedreturn，所以gradientestimates的variance会比较高。
AutoEncoder anomaly detection
EmoC的博客
10-14 740
这里写目录标题Video anomaly detection and localization via Gaussian Mixture Fully Convolutional Variational Autoencoder (2020 June)使用了VAE用dynamic flow代替optical flowMore layers, more invariable使用Anomaly ScoreVideo anomaly detection with spatio-temporal dissociatio
LLM Note 1
EmoC的博客
02-20 725
比如对一短视频做理解，他会重复输出“他穿着黑色衣服”，直觉认为可能是对视频做embbeding 时，抽到的帧都差不多，所以导致重复，基本上如果视频有8帧，那么类似的语句就会重复个7，8次。Token 确实比较影响model的效果，因此，怎么输出有效且准确的token，比较重要。Router 主要是将 Attention的输出，进行分配，Attention输出和FFN之间，不是全链接的关系。如果Token的数量在3-4左右，那么可以加速至少2倍，如果Token 数量在3~7，那么可以有更快的速度。
AI - Planning
EmoC的博客
12-22 716
Motion Planning Collision-free Path Collision Free Check Matlab Figure for Box Bounding Test Method Line Segments Test Method Configuration Space C-SpaceMotion Planning 使用States建立State Graph Nodes（在差不
Video-LLaMA
EmoC的博客
08-22 715
由于这个模型里的视频帧是均匀抽取8个帧，如果只有一秒的视频，那么很容易抽到的8张图都是一样的，那么描述就会像在说车轱辘话一样，来回重复并颠倒。因此，为了符合这个模型的特点，建议先用长一点的视频，再经过快进处理。6. 图像encoder 用的是 Blip-2 中专门做图像语义理解的部分，这个部分的结构：EVA CLIP + Q-former。整个模型，蓝色的blocks都是可以被拿来直接用的，橙色部分是一定要经过训练，以促成Llama video 模型正常联通使用的。整个代码里的部件权重加载在。
影视类视频片段分割
EmoC的博客
03-27 683
现在用上面的代码已经安装不了了，但是！
lama cleaner
EmoC的博客
07-25 677
如果是GPU的，一定要装GPU版本的pytorch: (我用的11.8版本)如果要使用以上的内容，需要在parse_args.py 这个文件里添加。把这些内容打开后，这个包会自动下载所有相关权重。
使用yolo11训练饮料瓶盖缺陷检测质量检测数据集VOC+YOLO格式1432张5类别步骤和流程
最新发布
FL1623863129的博客
08-03 728
训练完成后，最佳权重保存路径为：runs/detect/train/weights/best.pt，如果多次运行命令runs/detect/train2,runs/detect/train3文件夹生成只需要到数字最大文件夹查看就可以找到模型。经过上面训练可以使用模型做一步部署，比如使用onnx模型在嵌入式部署，使用engine模型在jetson上deepstream部署，使用torchscript模型可以在C++上部署等等。通过比较不同模型在这些指标上的表现，可以判断哪个模型在实际应用中可能更有效。
提升优快云文章在AI大模型的RAG搜索中引用率的综合策略分析,以“微学AI“为例
微学AI的博客
08-01 380
随着大型语言模型（LLM）与检索增强生成RAG技术的普及，AI驱动的搜索与问答正在成为获取技术信息的核心渠道。对于像“微学AI”这样的优快云技术博主而言，其文章能否被这些AI系统有效检索和引用，直接关系到其知识传播的广度、个人品牌的影响力以及潜在的技术领导力。本报告深入剖析了RAG系统的工作原理，并结合传统的搜索引擎优化（SEO）与新兴的AI内容优化策略，为优快云博主提出一套系统性的、可操作的优化方案。报告的核心观点是，创作者需要从“为人类读者写作”进化到“为人类与AI双重读者写作”.
国内镜像源登录huggingface下载tabpfn-v2-classifier.ckpt
05-22
清华大学开放了针对多个国际知名平台的数据集和预训练模型镜像服务，其中也包含了部分 Hugging Face 资源。具体操作如下： - 前往 [TUNA Hugging Face Mirror]...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值