炸裂！YOLOv12 重塑实时目标检测新范式_gradio yolo 摄像头实时检测-优快云博客

本文链接：https://blog.youkuaiyun.com/ai_tech_talk/article/details/146919834

YOLOv12：高性能目标检测的新标杆。

微信搜索关注《AI科技论谈》

近期，YOLOv12 正式发布，在计算机视觉领域激起千层浪。

这款由美国布法罗大学的田云杰、中国科学院大学的叶奇翔以及美国布法罗大学的大卫・多尔曼联合研发的模型，作为 YOLO 系列的最新升级，为目标检测带来了全新思路与性能提升。

YOLOv12 在速度、精度和通用性上表现出色。其核心创新点在于以注意力机制为设计核心，这种创新设计大幅提升了模型性能，不仅速度更快、精准度更高，通用性也更强，是开发者和研究人员不可或缺的重要工具。

YOLOv12 的诞生，无疑将在计算机视觉领域掀起一场变革风暴，为相关技术的发展开辟新的方向。

一、YOLOv12技术架构概述

YOLOv12对YOLO框架进行了全面升级，特别注重在不牺牲YOLO模型实时处理能力的前提下，集成注意力机制。

以下是其架构亮点的简要剖析：

以注意力为核心的设计：YOLOv12配备区域注意力模块，通过对特征图进行分割来保持效率，利用FlashAttention技术将计算复杂度降低一半，同时缓解内存带宽限制，以实现实时检测。
分层结构：该模型集成了残差高效层聚合网络（R - ELAN），优化特征整合，减少梯度阻塞，并简化了最后阶段，构建出更轻量、更快速的架构。
架构改进：YOLOv12用7x7可分离卷积取代传统位置编码，有效保留位置信息。自适应MLP比率则能更好地分配计算资源，支持在实时约束下处理多种数据集。
训练与优化：模型使用随机梯度下降（SGD）和自定义学习率调度，经过600个epoch的训练，达到了较高的准确率。它采用了Mosaic和Mixup等数据增强技术，提升泛化能力，推动了YOLOv12在快速、精准目标检测方面的能力提升。

二、YOLOv12在COCO数据集上的表现

在目标检测领域，上下文常见物体（COCO）数据集是主要的基准测试，平均精度均值（mAP）是衡量性能的标准。YOLOv12在这方面表现优异，树立了新的行业标杆。例如，YOLOv12 - N的mAP达到40.6%，而YOLOv12 - X更是惊人地达到了55.2%。

YOLOv12 对比当前最先进技术的性能

三、YOLOv12核心特性

以注意力为核心的设计：该架构能高效捕捉详细的图像特征，确保在复杂场景下也能精确检测物体。
速度和效率优化：通过优化架构和训练方法，模型在不牺牲准确性的前提下提高了处理速度。
资源利用更高效，精度更高：YOLOv12使用更少的参数实现了更高的mAP，有效优化了资源使用。
跨平台通用性：从边缘设备到强大的GPU系统，YOLOv12都能无缝适配各种平台，应用潜力广泛。
全面的任务支持：YOLOv12能处理一系列任务，包括实时检测、实例分割、图像分类等，对开发者来说不可或缺。

四、YOLOv12安装指南

安装YOLOv12需要遵循特定步骤，以确保兼容性，尤其是与CUDA和GPU的配置。首先要克隆存储库：

git clone https://github.com/sunsmarterjie/yolov12.git
cd yolov12

验证CUDA版本：确认系统的CUDA版本是否兼容。运行：

nvcc -version

得到的结果是：

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Thu_Mar_28_02:18:24_PDT_2024
Cuda compilation tools, release 12.4, V12.4.131
Build cuda_12.4.r12.4/compiler.34097967_0

由于这里使用的是CUDA 12.4版本，而YOLOv12需要torch==2.2.0，但CUDA 12.4版本下没有对应版本，所以安装适用于CUDA 12.2的torch和torchvision。

安装PyTorch和TorchVision：

pip install torch==2.2.2 torchvision==0.17.2 --index-url https://download.pytorch.org/whl/cu121

安装其他依赖项：

# 安装thop，一个用于分析PyTorch模型操作并估算FLOP（浮点运算次数）的库。
pip install thop
# 安装flash-attn v2.7.3，并使用--no-build-isolation标志禁用构建隔离。它可在注意力运算时提高内存效率，但需要CUDA支持。
pip install flash-attn==2.7.3 --no-build-isolation
# 安装requirements.txt文件中列出的所有其他必要依赖项，这对运行YOLOv12至关重要。
pip install -r requirements.txt

注意：

YOLOv12不支持仅CPU的环境，主要是因为它依赖的FlashAttention不支持仅CPU的环境，安装需要CUDA支持。请确保系统上正确配置了CUDA。

五、使用Gradio界面运行YOLOv12

该项目提供了一个Gradio应用程序界面模板，便于演示和界面测试。进入存储库目录并运行：

python app.py

这会启动Gradio界面，与模型的交互更加便捷。

YOLOv12的Gradio应用程序

六、使用YOLOv12对视频、图像或摄像头进行预测

轻松利用YOLOv12强大的推理能力：

from ultralytics import YOLO

# 加载模型并进行预测
model = YOLO('yolov12x.pt')
model.predict(0) # 网络摄像头
model.predict("video.mp4") # 视频文件
model.predict("image.jpg") # 图像文件