YOLOv5跌倒检测实战：从数据集标注到模型部署的全流程指南

YOLOv5跌倒检测实战：从数据集标注到模型部署的全流程指南

在安防监控、智慧养老和医疗看护等场景中，跌倒检测正从一个前沿研究课题，迅速演变为一项具有迫切现实需求的技术应用。想象一下，当独居老人不慎摔倒，一个能够自动识别并发出警报的系统，其价值不言而喻。然而，从零开始构建这样一个系统，远不止是调用一个现成的API那么简单。它涉及数据工程的繁琐、模型训练的调优艺术，以及最终将算法模型转化为稳定可靠应用的部署工程。本文将带你完整走一遍这个流程，我们将以当前工业界广泛采用的YOLOv5模型为核心，手把手地完成一个跌倒检测系统的构建。无论你是希望将深度学习技术落地的工程师，还是对计算机视觉应用充满好奇的研究者，这篇文章都将提供一份详尽的、可操作的路线图。

1. 项目蓝图：理解跌倒检测的技术栈与挑战

在动手写第一行代码之前，我们需要对即将构建的系统有一个全局的认知。一个完整的跌倒检测系统，其技术栈可以清晰地分为三个层次：数据层、算法层和应用层。

数据层是地基。跌倒检测的难点很大程度上在于数据的稀缺性和标注的复杂性。与通用目标检测（如检测猫、狗、汽车）不同，跌倒是一个动态的、与上下文高度相关的行为。一个坐下的动作和跌倒的起始姿态在单帧图像中可能非常相似。因此，构建一个高质量的数据集，不仅需要收集足够多的“跌倒”和“非跌倒”图像，更需要精细的边界框标注，有时甚至需要引入时序信息（如使用视频片段而非单张图片）。

算法层是核心。我们选择YOLOv5，并非仅仅因为它的流行。在实际项目中，选择模型框架需要权衡多个因素：

• 精度与速度的平衡：YOLOv5系列提供了从n（nano）到x（extra large）多个尺度的预训练模型，让我们能根据部署设备的算力灵活选择。
• 生态成熟度：YOLOv5拥有极其活跃的社区、详尽的文档和丰富的教程，这意味着你在遇到问题时，更容易找到解决方案。
• 工程友好性：其代码结构清晰，训练、验证、推理脚本开箱即用，大大降低了从研究到生产的门槛。

应用层是价值的最终体现。模型训练得再好，如果不能便捷地使用，也只是一个“玩具”。我们将构建一个本地图形界面（UI），支持图片、视频文件和实时摄像头流三种输入方式，并将检测结果可视化展示。这涉及到多线程处理（防止UI卡顿）、模型推理引擎的封装以及前后端的交互逻辑。

提示：在项目初期，建议采用“快速原型”思想。先用小规模数据、轻量级模型跑通整个流程，验证想法可行性，再逐步迭代优化各个模块。

2. 数据工程：构建与标注你的专属跌倒数据集

公开的跌倒数据集（如UR Fall Detection Dataset）是很好的起点，但往往数据量有限，或场景单一。要打造一个鲁棒的系统，创建或扩充自己的数据集几乎是必经之路。这里我分享一套从网络爬取到最终标注的实践方法。

数据收集与爬虫策略： 与其漫无目的地搜索，不如聚焦于特定场景。我们可以使用经过合规改造的网络爬虫，针对性地收集公开场景下的行人图像。关键词组合至关重要，例如：

("falling person" OR "跌倒") AND ("street" OR "home" OR "hospital") -cartoon -animation

请注意，必须严格遵守数据版权和隐私法规，仅用于个人学习与研究，并避免收集任何涉及个人隐私的敏感图像。一个更稳妥的方法是使用公开数据集或通过模拟环境生成合成数据。

数据清洗与预处理： 收集到的原始图像往往鱼龙混杂。我们需要进行清洗：

1. 去重：使用感知哈希（pHash）算法去除高度相似的图像。
2. 筛选：手动或利用初步分类模型快速过滤掉完全不相关的图片（如风景照、动物图片）。
3. 标准化：将图像统一缩放到一个合理的尺寸（如640x640），并为后续的标注工作做好准备。

使用LabelImg进行高效标注： 标注是数据工程中最耗时的一环。我们使用LabelImg工具，并遵循以下规范以提升效率和质量：

• 标注规范：

  • 边界框应紧密贴合人体轮廓，但不必过于精确到手指脚尖。
  • 对于被部分遮挡的跌倒者，根据可见部分合理推断并标注完整边界框。
  • 统一类别标签，例如我们只使用 fall。

• 目录结构：采用YOLO格式组织数据，这是后续训练顺利的关键。

  PedFall_Dataset/
  ├── images/
  │   ├── train/       # 训练集图片
  │   └── val/         # 验证集图片
  └── labels/
      ├── train/       # 对应训练集的标签文件 (.txt)
      └── val/         # 对应验证集的标签文件 (.txt)
  

  每个.txt标签文件内容格式为：<class_id> <x_center> <y_center> <width> <height>，坐标均为相对于图片宽高的归一化值。

• 自动化技巧：对于视频数据，可以先用背景减除或行人检测模型预提取包含人物的帧，再进行人工微调标注，能节省大量时间。

创建数据集配置文件： 在YOLOv5项目根目录下，我们需要创建一个数据集配置文件 pedfall.yaml。

# pedfall.yaml
path: ../PedFall_Dataset  # 数据集根目录
train: images/train  # 训练集路径（相对于path）
val: images/val      # 验证集路径（相对于path）

# 类别数量
nc: 1
# 类别名称列表
names: ['fall']

这个文件是连接数据和训练脚本的桥梁，路径配置错误是新手最常见的坑之一。

3. 模型训练：调优YOLOv5以捕捉跌倒特征

拿到标注好的数据后，我们进入模型训练阶段。YOLOv5的训练脚本功能强大，但理解其关键参数和监控指标，才能有效调优。

环境搭建与依赖安装： 创建一个独立的Python虚拟环境是专业做法。这里使用conda：

conda create -n yolo_fall python=3.8
conda activate yolo_fall
# 克隆YOLOv5官方仓库
git clone https://github.com/ultralytics/yolov5
cd yolov5
# 安装依赖 (建议使用国内镜像源加速)
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

启动训练与关键参数解析： 训练命令看似简单，但每个参数都影响深远。

python train.py --data pedfall.yaml --weights yolov5s.pt --img 640 --batch 16 --epochs 100 --name fall_detection_v1

让我们拆解一下：

• --weights yolov5s.pt：强烈建议使用预训练权重。这利用了在千万级通用图像上学到的通用特征提取能力（如边缘、纹理），通过迁移学习，让模型在我们的跌倒数据上快速收敛。从零训练（--weights ''）在小数据集上极易过拟合。
• --img 640：输入图像尺寸。YOLOv5训练时会自动进行Mosaic数据增强和缩放，这个参数定义了网络输入的固定尺寸。更大的尺寸可能带来精度提升，但会显著增加显存消耗和训练时间。
• --batch 16：批次大小。取决于你的GPU显存（可用nvidia-smi查看）。在显存允许范围内，较大的批次通常能使训练更稳定。如果出现CUDA out of memory错误，就调小这个值。
• --epochs 100：训练轮数。并非越多越好，需要观察验证集损失曲线，防止过拟合。

训练过程监控与指标解读： 训练开始后，除了观察命令行输出的损失值，TensorBoard是最好的监控工具。

tensorboard --logdir runs/train

在浏览器打开提示的地址，你会看到如下关键图表：

图表名称	解读与健康状态判断
train/box_loss, obj_loss, cls_loss	训练集边界框、置信度、分类损失。应随着训练轮数平稳下降，最后趋于平缓。剧烈震荡可能意味着学习率过高。
val/box_loss, obj_loss, cls_loss	验证集损失。理想情况是与训练损失同步下降且差距不大。若验证损失很早就开始上升，而训练损失持续下降，则是典型的过拟合信号。
metrics/mAP_0.5	在IoU阈值为0.5时的平均精度均值。这是我们最关心的核心精度指标，值越高越好，通常会在训练后期趋于稳定。
metrics/precision & recall	精确率与召回率。精确率高说明“说是跌倒的，基本都是真跌倒”；召回率高说明“真的跌倒事件，大部分都被找出来了”。我们需要根据应用场景权衡二者（如养老监控可能更看重召回率）。

应对过拟合的策略： 如果发现过拟合（验证集指标变差），不要慌张，可以尝试以下方法：

1. 增加数据增强：在data.yaml或训练命令中启用更强大的增强，如--augment True。YOLOv5默认的Mosaic、MixUp等已经很强。
2. 使用更小的模型：从yolov5s.pt换为yolov5n.pt。模型容量越小，越不容易过拟合。
3. 引入正则化：尝试微调--dropout参数（如果模型支持），或使用权重衰减（--weight_decay参数）。
4. 早停（Early Stopping）：手动监控验证集mAP，当其连续多个epoch不再提升时，果断停止训练。

训练完成后，最佳模型会保存在runs/train/fall_detection_v1/weights/best.pt。这个文件就是我们下一阶段的“武器”。

4. 推理引擎：将模型封装为可调用的服务

训练得到的.pt文件是PyTorch的模型权重。我们需要编写一个推理脚本，使其能够处理各种输入源并输出检测结果。这个脚本将是后端服务的核心。

构建基础推理函数： 我们创建一个detector.py模块，其中包含核心的预测函数。

import torch
import cv2
import numpy as np
from pathlib import Path
import time

class FallDetector:
    def __init__(self, model_path, device='cpu', conf_thres=0.5, iou_thres=0.45):
        """
        初始化检测器
        Args:
            model_path: best.pt 模型路径
            device: 推理设备，'cuda:0' 或 'cpu'
            conf_thres: 置信度阈值，过滤弱预测
            iou_thres: 非极大值抑制的IoU阈值
        """
        self.device = torch.device(device)
        # 加载模型
        self.model = torch.jit.load(model_path) if model_path.endswith('.torchscript.pt') else torch.load(model_path, map_location=device)['model'].float()
        self.model.to(self.device).eval()
        self.conf_thres = conf_thres
        self.iou_thres = iou_thres
        # 类名，应与训练时一致
        self.names = ['fall']

    def preprocess(self, image):
        """将OpenCV读取的BGR图像预处理为模型输入张量"""
        # 保持长宽比缩放，并在边缘填充灰色
        img = letterbox(image, new_shape=640, auto=False)[0]
        # BGR -> RGB, HWC -> CHW
        img = img[:, :, ::-1].transpose(2, 0, 1)
        img = np.ascontiguousarray(img)
        img = torch.from_numpy(img).to(self.device)
        img = img.float() / 255.0  # 归一化
        if img.ndimension() == 3:
            img = img.unsqueeze(0)  # 增加批次维度
        return img

    def predict(self, image):
        """执行预测"""
        img_tensor = self.preprocess(image)
        with torch.no_grad():
            pred = self.model(img_tensor)[0]
        # 应用非极大值抑制
        pred = non_max_suppression(pred, self.conf_thres, self.iou_thres)
        return pred

    def draw_results(self, image, detections):
        """将检测结果绘制到原图上"""
        if detections[0] is not None:
            for det in detections[0]:
                xyxy = det[:4].cpu().numpy().astype(int)
                conf = det[4].cpu().item()
                # 画框
                cv2.rectangle(image, (xyxy[0], xyxy[1]), (xyxy[2], xyxy[3]), (0, 0, 255), 2)
                # 标签文本
                label = f'Fall {conf:.2f}'
                cv2.putText(image, label, (xyxy[0], xyxy[1]-10), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0,0,255), 2)
        return image

# 需要从YOLOv5 utils中导入的工具函数（需自行复制或引用）
from utils.general import letterbox, non_max_suppression

处理多输入源： 我们需要为图片、视频、摄像头分别编写处理循环。以摄像头为例：

def run_camera_demo(detector, camera_id=0):
    cap = cv2.VideoCapture(camera_id)
    print("按 'q' 键退出实时检测")
    while True:
        ret, frame = cap.read()
        if not ret:
            break
        start_time = time.time()
        pred = detector.predict(frame)
        frame = detector.draw_results(frame, pred)
        fps = 1 / (time.time() - start_time)
        cv2.putText(frame, f'FPS: {fps:.1f}', (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2)
        cv2.imshow('Fall Detection - Camera', frame)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    cap.release()
    cv2.destroyAllWindows()

注意：在实际部署中，直接使用OpenCV的GUI窗口并不友好。我们更常将上述推理引擎封装为一个Python类，提供detect_image(image_path), detect_video(video_path), detect_camera()等接口，供后续的UI或API调用。

性能优化技巧：

1. 模型转换：将PyTorch模型转换为TorchScript或ONNX格式，有时能获得更优的推理速度，并脱离PyTorch环境。
2. 批处理：对于视频流，可以尝试积累几帧进行一次批预测，能提升GPU利用率。
3. 硬件加速：如果使用Intel CPU，可以尝试OpenVINO工具套件；对于NVIDIA GPU，TensorRT是终极优化方案。

5. 应用集成：打造用户友好的本地图形界面

一个只有命令行界面的系统很难被最终用户接受。我们使用PyQt5来构建一个直观的桌面应用。这里我分享在开发UI时的一些设计思路和避坑经验。

UI功能模块设计： 我们的主界面应包含以下核心区域：

1. 输入选择区：按钮组，用于切换“图片”、“视频”、“摄像头”输入模式。
2. 显示区：一个QLabel组件，用于实时显示原始视频流和叠加了检测框的结果画面。
3. 控制区：开始/停止检测按钮、置信度阈值滑动条、模型选择下拉菜单。
4. 信息面板：以表格或列表形式显示当前检测到的跌倒事件（时间、位置、置信度），并包含一个日志输出框。

多线程架构是关键： 绝不能将耗时的模型推理放在UI主线程中，否则界面会完全卡死。必须使用QThread。

# 伪代码示例：一个用于视频检测的工作线程
class DetectionThread(QThread):
    result_ready = pyqtSignal(np.ndarray, list) # 信号：发送处理后的帧和检测结果列表

    def __init__(self, detector, video_source):
        super().__init__()
        self.detector = detector
        self.video_source = video_source
        self._is_running = True

    def run(self):
        cap = cv2.VideoCapture(self.video_source)
        while self._is_running and cap.isOpened():
            ret, frame = cap.read()
            if not ret:
                break
            # 执行推理（耗时操作）
            pred = self.detector.predict(frame)
            processed_frame = self.detector.draw_results(frame.copy(), pred)
            # 整理检测结果信息
            det_info = []
            if pred[0] is not None:
                for det in pred[0]:
                    det_info.append({
                        'bbox': det[:4].cpu().numpy().tolist(),
                        'conf': det[4].cpu().item()
                    })
            # 通过信号将结果发送回主线程更新UI
            self.result_ready.emit(processed_frame, det_info)
            time.sleep(0.03) # 控制一下循环速度，避免过度占用CPU
        cap.release()

    def stop(self):
        self._is_running = False

在主窗口代码中，我们实例化这个线程，并将其result_ready信号连接到更新界面显示和结果表格的槽函数上。

提升用户体验的细节：

• 异步加载：在点击“选择模型”时，在后台线程中加载新的.pt文件，界面显示加载动画。
• 参数持久化：将用户设置的置信度阈值、最后打开的文件夹路径等保存到本地的配置文件（如config.ini），下次启动时自动载入。
• 结果导出：添加“保存结果图片”、“导出检测日志为CSV”等功能，让系统产出可用的数据。

6. 部署与优化：让系统稳定运行在实际环境

开发完成后的部署，是另一个故事。你可能会遇到“在我电脑上好好的，换台机器就报错”的经典问题。

创建可移植的依赖环境： 使用pip freeze > requirements.txt生成的依赖文件可能包含过多系统路径信息。更好的做法是，在纯净环境中重新安装核心依赖，并指定版本。

# requirements_fall.txt
PyQt5==5.15.9
opencv-python==4.8.1.78
torch==1.13.1+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
torchvision==0.14.1+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
# 其他必要包如numpy, pandas等

对于CUDA和PyTorch的版本匹配，务必查阅官方文档。如果目标部署环境没有GPU，则安装CPU版本的PyTorch。

使用PyInstaller打包为独立可执行文件： 这是交付给非技术用户的最佳方式。

pyinstaller --onefile --windowed --name "FallDetectionSystem" --add-data "best.pt;." --add-data "ui/;ui/" main.py

这个过程坑很多，常见问题及解决：

• 找不到模块：在spec文件中通过hiddenimports手动添加。
• 动态链接库问题：特别是OpenCV相关的dll，可能需要手动复制到打包目录。
• 路径问题：打包后，sys._MEIPASS指向临时资源目录，所有访问资源文件（如图标、模型）的代码都需要用os.path.join(sys._MEIPASS, ...)来包装。

长期运行与稳定性考量：

1. 内存泄漏检查：长时间运行摄像头检测后，任务管理器里内存是否持续增长？确保在循环中及时释放不用的变量，并在QThread结束时做好清理。
2. 异常处理与日志：用logging模块将程序运行状态、错误信息记录到文件，方便远程排查问题。
3. 模型热更新：设计一个简单的机制（如检测特定目录下是否有新的best_new.pt文件），可以在不重启应用的情况下更新模型。

走到这一步，你已经拥有了一个从数据到产品的完整跌倒检测系统原型。回顾整个过程，最深的体会是：深度学习项目的成功，技术只占一半，另一半是工程化的耐心和对细节的掌控。比如，标注数据时的一丝不苟，比换用更复杂的模型更能提升效果；编写UI时对多线程的合理应用，比追求极致的推理帧率更能让用户觉得流畅。这个项目只是一个起点，你可以尝试集成报警功能（如发送邮件或短信），或者将其改造成一个网络API服务，供其他系统调用。技术的价值，最终在于它如何切实地解决问题。