模型案例：| 老鼠识别模型！

导读

2023年以ChatGPT为代表的大语言模型横空出世，它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力，为人工智能技术的发展开辟了新的可能性。同时，人工智能技术正在进入各种应用领域，在智慧城市、智能制造、智慧医疗、智慧农业等领域发挥着重要作用。

柴火创客2024年将依托母公司Seeed矽递科技在人工智能领域的创新硬件，与全球创客爱好者共建“模型仓”，通过“SenseCraft AI”平台可以让使用者快速部署应用体验人工智能技术！

本期介绍：模型案例：| 老鼠识别模型！

FOMO 轻量检测模型

FOMO(Faster Objects, More Objects) 是由 Edgeimpulse 工程师提出的一种轻量级的目标检测模型，其主要特点是模型非常小，计算量也很小，表现出来就是速度非常快，精度也不错。

FOMO和 YOLO v2 类似，目的都是检测到物体，但是 YOLO v2 的后处理还是比较复杂，有大量的框需要处理，想在没有硬件加速的单片机上运行还是很吃力的。

FOMO 采用更简单的思路来做检测：

使用一个经典网络作为特征提取器，比如 MobileNet v1， 然后从网络中间截断，得到一个特征图，这个特征图的大小是 n x n x c, n 是特征图的宽高，c 是特征图的通道数。

这里 n 的取值取决于从网络哪里截断，比如我们输入分辨率是 128 x 128, 想要一个 8 x 8 的特征图输出，相当于把图片分辨率降低了 16 倍，从网络找到该层截断得到 8 x 8 的特征图。

这个 n x n x c， c 代表了有 c 个分类，每一层用来找一个分类的物体的位置，每层有 n x n 个像素，每个像素代表了在该位置是否有该分类的物体（的置信度）

遍历这个 n x n x c 的特征图，找到置信度超过设置的阈值的像素坐标，我们就认为这些地方有物体存在，然后按照缩放比例映射到原图，比如只有一个分类即 c 为 1 时，我们要检测一个杯子，得到如下的结果：

在得到了一大堆看起来有效的坐标点后，我们认为这些地方有物体存在，但是有一大堆点，我们可以简单地将挨着的点合并成一个框，这样就得到了一个大框。

因为这个框有时候可能不是很准，Edgeimpulse 官方的做法是值采用这个框的中心点，这样这个点在物体上的概率比较大。

老鼠识别模型

老鼠是一种繁殖能力强、适应环境广、危害极大的啮齿类动物。历年来，老鼠灾害给人类社会带来了严重的损失，包括农业损失、疾病传播、公共设施侵害、生态环境破坏等方面。老鼠是农业生产的主要害虫之一。它们以农作物为食，如稻谷、玉米、豆类等，严重破坏农作物的生长和产量。据统计，每年因老鼠侵害导致的农作物损失约占农作物总产量的5%-10%。

该模型用于对老鼠和玉米粮仓的识别，采用MobileNetV2卷积神经网络，生成TensorFlow Lite INT8格式文件。

通过在玉米粮仓部署传感器和摄像头，结合老鼠识别模型，实时监测玉米粮仓的鼠害问题，帮助农民及时发现老鼠并采取相应措施。

模型文件下载

老鼠识别Lite（INT8）类型模型文件，请在网盘中下载此模型

https://share.weiyun.com/G16zwAPY

SenseCraft AI 平台介绍

SenseCraft AI 平台是一个专注于人工智能技术和应用的综合性平台，致力于帮助企业和个人实现智能化应用。该平台提供了多种人工智能算法和模型，包括人脸识别、猫狗识别、姿态估计、对象检测等经典模型，可以让使用者快速应用和部署AI模型并输出预测结果。

SenseCraft AI 平台经过不断的改进和迭代，现已推出新的功能并进行了全新的页面改版，新的应用平台启动新的网址：https://sensecraft.seeed.cc/ai/#/model

在XIAOESP32S3Sense上部署此模型

1. 打开SenseCraft AI平台，如果第一次使用请先注册一个会员账号，还可以设置语言为中文。平台地址：https://sensecraft.seeed.cc/ai/#/model

2、准备硬件，安装XIAOESP32S3摄像头扩展板，使用数据线一头连接到XIAO ESP32S3 Sense开发板，另一头连接到电脑的USB接口上，如下图所示。

3、打开SenseCraft AI平台网站，将鼠标指针指向“设备工作空间”，在弹出的下拉菜单中单击“XIAO ESP32S3 Sense”选项，如下图所示。

4、进入“设备工作空间”页面，左上角选择连接设备，这里选“XIAO ESP32S3 Sense”并单击右侧的【连接】按钮，如下图所示。

5、弹出“连接到串行端口”窗口，选中串口号如“COM7”后单击【连接】按钮连接设备，如下图所示。

6、连接成功后，左侧是设备断开连接和设备操作菜单，中间会显示当前设备的部署模型信息并打开其预览窗口显示视频和推理预测置信度值；右侧显示当前设备的硬件信息和推理的设备日志信息，如下图所示。

7、在“模型”信息中，单击【上传自定义模型】按钮，如下图所示。

8、弹出“上传自定义模型”窗口，在“模型名称”中输入名称如“老鼠识别”接着单击【请选择模型文件】，如下图所示。

9、单击【请选择模型文件】按钮后，弹出打开文件窗口，由于模型扩展名使用的lite不是Tflite格式文件，需要先在右下角文件中选择【所有文件】，然后就可以找到lite模型文件的文件夹并选中此文件后单击【打开】按钮，如下图所示。

10、返回到“上传自定义模型”窗口后，单击【Add Object】按钮，输入“corn”（玉米），再单击一次输入“rat”（老鼠），设置好后单击【发送】按钮，开始上传自定义模型，如下图所示。

 

11、经过一段时间的固件下载和烧录过程，设备会重启后预览窗口会显示视频并输出新的模型的预测结果，老鼠（rat）或玉米粮仓（corn）两个结果，如下图所示。

XIAO ESP32S3 Sense 套装介绍

XIAO ESP32S3（Sense）

• 强大的 MCU 板：集成ESP32S3 32 位双核 Xtensa 处理器芯片，运行频率高达 240 MHz，安装多个开发端口，支持 Arduino/MicroPython
• 高级功能：可拆卸OV2640相机传感器，分辨率为1600*1200，兼容OV5640相机传感器，集成附加数字麦克风
• 超强内存，带来更多可能性：提供 8MB PSRAM 和 8MB 闪存，支持 SD 卡插槽，用于外部 32GB FAT 内存
• 出色的射频性能：支持2.4GHz Wi-Fi和BLE双无线通信，连接U.FL天线时支持100m+远程通信
• 拇指大小的紧凑型设计：21 x 17.5mm，采用XIAO的经典外形，适用于可穿戴设备等空间有限的项目
• 来自 SenseCraft Al 的用于无代码部署的预训练 Al 模型。

写在最后

SenseCraft-AI平台的模型仓数量还很少，但是好消息是它支持自定义模型上传并输出推理结果，平台会逐渐增加模型仓的数量，敬请关注！