深度学习基础知识干货 | Videos 动作分类

原创 已于 2024-05-30 14:47:02 修改 · 630 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #机器学习

于 2023-11-01 17:21:17 首次发布
本文总结了多模态大模型如GroundingDINO、CLIP和EVA-CLIP的研究，涵盖了深度学习基础知识，包括批量归一化、卷积模型计算、多分类损失函数等。还介绍了视频分类技术，如EarlyFusion、LateFusion和3DCNN，以及如何处理长视频序列的方法，如Self-Attention的应用。

🐧大模型系列篇章

💖 多模态大模型 🔎 GroundingDINO 论文总结
💖 端到端目标检测 🔎 从DETR 到 GroundingDINO 🔥
💖 多模态大模型 👉 CLIP论文总结
💖 多模态大模型 👉 EVA-CLIP
💚 生成模型 👉 从 VAE 到 Diffusion Model （上）
💚 生成模型 👉 从 VAE 到 Diffusion Model （下）🔥
💧 天气大模型

🐧深度学习基础知识篇

💖 深度学习基础知识干货 🔎 Batch Normalization 批量归一化
💖 深度学习基础知识干货 🔎 卷积模型的Memory, Params, Flop是如何计算的?
💖 深度学习基础知识干货 🔎 Cross-Entropy Loss 多分类损失函数
💖 深度学习基础知识干货 🔎 Videos 动作检测
💖 深度学习基础知识干货 🔎 目标检测(Object Detection): 你需要知道的一些概念
💖 深度学习基础知识干货 🔎 微调（fine-tuning）和泛化（generalization）
💖 深度学习基础知识干货 🔎 Group Convolution / Depthwise Convolution 轻量模型的必有的卷积
💖 深度学习基础知识干货 🔎 Gradient checkpointing
💖 深度学习基础知识干货 🔎 Softmax中温度（temperature）参数
💖 深度学习基础知识干货 🔎 什么是few-shot learning

欢迎订阅专栏，第一时间掌握最新科技
大模型系列篇章 专栏链接
深度学习基础知识 专栏链接

文章目录

Video Classification

Early Fusion, Late Fusion, 3D CNN,

在这里插入图片描述
在这里插入图片描述

Recognizing Actions from Motion 从动作中识别行为

  • Measuring Motion: Optical Flow
  • Separating Motion and Appearance: Two-Stream Networks： Images(空间信息), Flow（时间信息）
    在这里插入图片描述
    在这里插入图片描述
    目前介绍的都是只能处理2s~5s的视频的模型。
    如果想处理长视频怎么办？
    我们之前学过RNN，但是RNN应用在长序列里面会非常的慢，不能并行（parallelized）。Self-Attention是可以并行计算的
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

接下来介绍新技术

在这里插入图片描述
在这里插入图片描述

回顾一下：非常多的video工作

在这里插入图片描述

深度学习康耐视VIDI-蓝色定位工具1
视觉人机器视觉的博客
10-12 1127
深度学习康耐视VIDI-蓝色定位工具1
cognex vidi深度学习图像处理软件2.1－3（没有licence）
09-06
缺陷检测 智能识别 深度学习 快速定位识别 智能分类 QQ:839350575 ViDi蓝色 - 特征检测 使用ViDi蓝色在您的图像中执行 功能检测和 本地化。它会自动找到所有寻找的零件。 ViDi红 - 异常检测 使用 ViDi红色识别 图像中的异常 和缺陷。它将突出显示并评分任何类型的异常。 ViDi绿色 - 图像分类 使用 ViDi绿色在图像中执行对象和场景分类。它会自动找到什么使每个类别可辨别。 ViDi | Deep learning | Image Analysis Software - ViDi Systems - Vision Software 基于深度学习的工业图像分析软件 ViDi提供了第一个可用于深入学习的视觉软件，用于工业图像分析。 ViDi Suite是基于机器学习中最先进的算法集的现场测试，优化和可靠的软件解决方案。 它允许解决否则无法对机器视觉的检查和分类挑战进行编程。
康耐视深度学习VIDI介绍（1）
z2633147621的博客
08-22 1606
我抽时间听了一下给我的感觉是康耐视现在基本上是在all in AI，他们传统的视觉算法和平台基本上没有太大的变化，但是在AI产品这一块丰富了很多。Cognex ViDi 的深度学习算法针对实际的工业图像分析进行了优化，对图像集大小的要求大幅降低，所需的训练和验证周期也更短。该工具通过了解对象的正常外观（包括其重要但可容忍的变化），识别复杂表面上的划痕、不完整或不正确的装配，甚至织物的编织问题。通过对可接受的公差进行训练，该工具可根据包装识别产品、对焊缝质量进行分类，并区分可接受或不可接受的异常情况。
Segmentation-Based Deep-Learning Approach for Surface-Defect Detection-论文阅读笔记
weixin_43749999的博客
07-21 2323
文中提出了一个基于分割的两阶段的表面缺陷检测方法。第一阶段包括在缺陷的像素级标签上训练的分割网络，而第二阶段包括在分割网络上构建的附加决策网络，以预测整个图像中是否存在异常。对所提出的方法进行了广泛的评估，评估对象是半成品工业产品，即电换向器，其中表面缺陷表现为材料断裂。该问题域已作为基准数据集公开，称为Kolektor表面缺陷数据集（KolektorSDD）。在该领域，将该方法与几种最先进的方法进行了比较，包括专用的商用软件和两种基于深度学习的标准分割方法。...
VisionPro ViDi^TM深度学习图像分析软件.pdf
08-18
VisionPro ViDi^TM深度学习图像分析软件.pdf
康耐视深度学习VIDI介绍-工具与概念（2）
最新发布
z2633147621的博客
08-22 2629
Cognex ViDi工具是一系列机器视觉工具，通过深度学习解决各种难以编程的挑战。虽然这些工具共享一个引擎，但它们在图像中寻找的内容不同。添加VIDI工具后，需要调整关注区域 (ROI) 来定义工具在其中操作的视图。您可以使用图像中的图形手柄调整ROI的大小和位置，并在图像中将其移动。康耐视所有的VIDI工具支持通过创建和应用遮蔽从训练中排除多余部分图像，遮蔽用于图像采样的方式由掩膜模式参数确定。”，从而启动遮蔽工具栏。”按钮，训练图像中的所有图像将使用此遮蔽。工具分析标记的训练图像集，训练网络。
深度学习基础知识干货 | 什么是few-shot learning
5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。
03-22 1098
few-shot learning
深度学习基础知识干货 | Gradient checkpointing
5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。
01-08 1004
在深度学习中，反向传播（Backpropagation）是训练神经网络的关键步骤，其中需要保留前向传播时的中间结果以计算梯度。Gradient checkpointing通过在前向传播过程中将某些中间结果临时存储在内存中，而不是一直保留，从而显著减少了内存需求。具体而言，它通过在前向传播期间记录计算图的某些部分，然后在反向传播时重新计算这些部分，从而避免了在反向传播过程中保留所有中间结果。这种技术的主要优势是能够在有限的内存条件下训练更大的模型或处理更长的序列，从而提高了模型的训练效率。
深度学习基础知识干货 | 微调（fine-tuning）和泛化（generalization）
5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。
05-13 491
什么是微调，什么是泛化
深度学习基础知识干货 | Softmax中温度（temperature）参数
5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。
01-09 3624
在Softmax中，温度（temperature）的作用是调整模型的输出分布的“平热程度”或“软硬程度”。因此，通过调整温度参数，可以在Softmax中平衡模型的“软硬”输出，从而影响模型的鲁棒性和泛化能力。
异常检测 | Anomaly Detection via Reverse Distillation from One-Class Embedding |很不错的方法，可以用来找出特例！！！
5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。
06-15 1824
本文提出了一种新的异常检测方法，名为“反向蒸馏”。该方法利用预训练的教师模型提取图像特征，并将其蒸馏到学生解码器中。学生解码器的目标是重建教师模型的多尺度特征，但由于学生模型只学习正常模式，因此无法重建异常特征，从而实现异常检测。主要贡献反向蒸馏框架： 教师模型为编码器，学生模型为解码器，打破传统蒸馏模型的结构限制，提高模型对异常的区分能力。一类别瓶颈嵌入模块： 将教师模型的高维特征压缩到低维空间，有效抑制异常特征的传播，增强异常检测效果。实验结果。
cognex vidi深度学习图像处理软件2.1(没有licence）
09-06
缺陷检测 智能识别 深度学习 快速定位识别 智能分类 ViDi蓝色 - 特征检测 使用ViDi蓝色在您的图像中执行 功能检测和 本地化。它会自动找到所有寻找的零件。 ViDi红 - 异常检测 使用 ViDi红色识别 图像中的异常 和缺陷。它将突出显示并评分任何类型的异常。 ViDi绿色 - 图像分类 使用 ViDi绿色在图像中执行对象和场景分类。它会自动找到什么使每个类别可辨别。 ViDi | Deep learning | Image Analysis Software - ViDi Systems - Vision Software 基于深度学习的工业图像分析软件 ViDi提供了第一个可用于深入学习的视觉软件，用于工业图像分析。 ViDi Suite是基于机器学习中最先进的算法集的现场测试，优化和可靠的软件解决方案。 它允许解决否则无法对机器视觉的检查和分类挑战进行编程。
cognex vidi深度学习图像处理软件2.1-2（没有licence）
09-06
缺陷检测 智能识别 深度学习 快速定位识别 智能分类 ViDi蓝色 - 特征检测 使用ViDi蓝色在您的图像中执行 功能检测和 本地化。它会自动找到所有寻找的零件。 ViDi红 - 异常检测 使用 ViDi红色识别 图像中的异常 和缺陷。它将突出显示并评分任何类型的异常。 ViDi绿色 - 图像分类 使用 ViDi绿色在图像中执行对象和场景分类。它会自动找到什么使每个类别可辨别。 ViDi | Deep learning | Image Analysis Software - ViDi Systems - Vision Software 基于深度学习的工业图像分析软件 ViDi提供了第一个可用于深入学习的视觉软件，用于工业图像分析。 ViDi Suite是基于机器学习中最先进的算法集的现场测试，优化和可靠的软件解决方案。 它允许解决否则无法对机器视觉的检查和分类挑战进行编程。
cognex vidi深度学习图像处理软件使用说明
02-24
缺陷检测 智能识别 深度学习 快速定位识别 智能分类 ViDi蓝色 - 特征检测 使用ViDi蓝色在您的图像中执行 功能检测和 本地化。它会自动找到所有寻找的零件。 ViDi红 - 异常检测 使用 ViDi红色识别 图像中的异常 和缺陷。它将突出显示并评分任何类型的异常。 ViDi绿色 - 图像分类 使用 ViDi绿色在图像中执行对象和场景分类。它会自动找到什么使每个类别可辨别。
vidi人工智能深度学习缺陷检测软件视频外观划痕
11-10
ViDi 红色：分割段和缺陷探检测 ViDi 红色工具用于探检测异常和美观缺陷。无论是装饰表面上的划痕挂擦、不完整或不正确的组件，还是织品上的纺织问题，红色工具只需学习物体的正常外观，包括明显但可容受许的差异，即可识别所有这些，甚至更多问题。ViDi 红色工具也用于分割具体区域，例如缺陷或其他需要关注的区域。无论是医疗用布上的特定异物，还是织品上的切割区，红色工具只需学习目标区域的各种外观即可识别所有这些区域。技术交流13642395590
深度学习在视觉定位中的应用——康耐视VIDI蓝色定位工具
syntax_api860的博客
09-14 605
康耐视（Cognex）是一家领先的视觉系统和工业自动化解决方案提供商，其开发的VIDI蓝色定位工具利用深度学习算法，为工业生产中的定位问题提供了一种高效、准确的解决方案。该工具通过学习大量的图像样本，能够准确地检测和定位蓝色物体，并将其位置信息输出给机器人、机械臂等设备，实现自动化的操作。康耐视VIDI蓝色定位工具的出现，为工业生产中的定位问题提供了一种高效、准确的解决方案。需要注意的是，上述代码仅仅是一个简单示例，实际使用康耐视VIDI蓝色定位工具时，可能需要根据具体的应用场景进行参数调整和定制化开发。
康耐视深度学习ViDi-Plugins菜单介绍
视觉人机器视觉的博客
11-05 435
Expert Mode ----------- 打开专家模式点击此选项会进入专家模式，软件会拥有更多功能。Support ----------- 打开技术支持界面：​点击此选项会直接进入Cognex官网的支持界面。About -------------------- 显示和ViDi相关的信息。Documentation -----------打开网页格式的帮助文档。Manage Plugins ----------- 插件管理。点击此选项会直接进入Cognex官网的支持界面。
深度学习康耐视ViDi 工具概述
视觉人机器视觉的博客
10-02 1739
深度学习康耐视ViDi 工具概述
Flask框架快速入门与基础知识干货分享
Flask完全用Python编写，并且与Python标准库紧密集成，因此要求开发者有一定的Python基础知识。Python的动态特性和简洁语法极大地简化了Web开发过程。 7. Flask的后端开发： Flask通常被用作后端框架，负责处理...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值