基于MobileNet-v3和YOLOv5的餐饮有害虫鼠识别及防治系统的设计与实现

在新时代的背景下， “清爽干净”和“卫生健康”成为老百姓对美好生活向往的两个重要因素，这也是当下餐饮行业管理者们不变的追求与目标。随着科技的发展与进步，人工智能成为了文明社会的重要产物，并逐渐应用于日常生活中的方方面面。基于此，设计并开发出一款可以有效预防虫鼠害的系统对于提升管理效率及卫生服务质量是非常有必要的……

本文阐述的内容主要包括：

1. 基于 MobileNet-v3 的虫鼠识别功能的设计与实现
2. 基于 YOLOv5 的鼠类检测功能的设计与实现
3. 基于 PyQt5 的功能封装与人机交互界面的设计与实现 

目录

1 成品效果演示

2 基于 MobileNet-v3 的虫鼠识别功能的设计与实现

3 基于 YOLOv5 的鼠类检测功能的设计与实现

4 基于 PyQt5 的功能封装与人机交互界面的设计与实现

5 主要参考文献

---

1 成品效果演示

1.1 图片成品效果演示

1.2 视频成品效果演示

2 基于 MobileNet-v3 的虫鼠识别功能的设计与实现

2.1 数据集的获取与整理

2.1.1 数据获取

众所周知，数据获取是深度学习领域一项必不可少的技能。数据获取方式多种多样，具体而言：①找与任务相关的公开数据集（如用来进行图像识别的 COCO 数据集、ImageNet 数据集等）；②利用外包平台进行数据获取（如阿里众包、百度数据众包、京东微工等）③当然也可以根据需要自己抱着摄像头采集；④最后一种获取方式是利用网络爬虫技术获取。

在这里，用到的是第 4 种数据获取方式——网络爬虫。用到的是之前自己编写的一款百度图片爬虫APP。

关于该百度图片爬虫 APP 有兴趣的读者请移步：
首发博文：当爬虫遇到PyQt5：GUI界面实现百度图片爬取
GitHub 源码获取：PyQt5/reptile at main · zhao302014/PyQt5 · GitHub

利用自己编写的爬虫工具，共获取了包括 ant、cockroach、fly、mouse、pillworm 在内的 5 种虫鼠类别的数据集，各 50 张，共 250 张。

2.1.2 数据整理

数据整理主要可以考虑三个层面的内容：数据检查与归一化、数据去重、数据集划分。

很显然，上一步获取的数据集不论是分量还是总量都太少，容易由于数据集量太小或模型过大产生过拟合现象。因此，这里采用最简单粗暴的方法防止过拟合：隐式的正则化方法——数据增强。具体而言，用到了包括 Scale、Horizontal、Rotate、Darker、Brighter、Translation、AddNoise 在内的数据增强方法（基于 OpenCV 的相关方法实现的）

# 数据增强之缩放操作
def Scale(image, scale):
    return cv2.resize(image, None, fx=scale, fy=scale, interpolation=cv2.INTER_LINEAR)

# 数据增强之水平翻转
def Flip_Horizontal(image):
    return cv2.flip(image, 1, dst=None)  # 水平镜像

# 数据增强之垂直翻转
def Flip_Vertical(image):
    return cv2.flip(image, 0, dst=None)  # 垂直镜像

# 数据增强之旋转
def Rotate(image, angle=15, scale=0.9):
    w = image.shape[1]
    h = image.shape[0]
    M = cv2.getRotationMatrix2D((w / 2, h / 2), angle, scale)  # 旋转矩阵
    image = cv2.warpAffine(image, M, (w, h))   # 旋转
    return image

# 数据增强之变暗
def Darker(image, percetage=0.9):
    image_copy = image.copy()
    w = image.shape[1]
    h = image.shape[0]
    for xi in range(0, w):
        for xj in range(0, h):
            image_copy[xj, xi, 0] = int(image[xj, xi, 0] * percetage)
            image_copy[xj, xi, 1] = int(image[xj, xi, 1] * percetage)
            image_copy[xj, xi, 2] = int(image[xj, xi, 2] * percetage)
    return image_copy

# 数据增强之变亮
def Brighter(image, percetage=1.1):
    image_copy = image.copy()
    w = image.shape[1]
    h = image.shape[0]
    for xi in range(0, w):
        for xj in range(0, h):
            image_copy[xj, xi, 0] = np.clip(int(image[xj, xi, 0] * percetage), a_max=255, a_min=0)
            image_copy[xj, xi, 1] = np.clip(int(image[xj, xi, 1] * percetage), a_max=255, a_min=0)
            image_copy[xj, xi, 2] = np.clip(int(image[xj, xi, 2] * percetage), a_max=255, a_min=0)
    return image_copy

# 数据增强之平移
def Translation(img, x, y):
    img_info = img.shape
    height = img_info[0]
    width = img_info[1]
    mat_translation = np.float32([[1, 0, x], [0, 1, y]])  # 变换矩阵：设置平移变换所需的计算矩阵：2行3列（平移变换：其中x表示水平方向上的平移距离，y表示竖直方向上的平移距离）
    dst = cv2.warpAffine(img, mat_translation, (width, height))  # 变换函数
    return dst

# 数据增强之增加椒盐噪声
def SaltAndPepper(src, percetage):
    SP_NoiseImg = src.copy()
    SP_NoiseNum = int(percetage * src.shape[0] * src.shape[1])
    for i in range(SP_NoiseNum):
        randR = np.random.randint(0, src.shape[0] - 1)
        randG = np.random.randint(0, src.shape[1] - 1)
        randB = np.random.randint(0, 3)
        if np.random.randint(0, 1) == 0:
            SP_NoiseImg[randR, randG, randB] = 0
        else:
            SP_NoiseImg[randR, randG, randB] = 255
    return SP_NoiseImg

# 数据增强之增加高斯噪声
def GaussianNoise(image, percetage):
    G_Noiseimg = image.copy()
    w = image.shape[1]
    h = image.shape[0]
    G_NoiseNum = int(percetage * image.shape[0] * image.