拳力以赴！基于 RT-Thread 与瑞萨 VisionBoard 的 AIoT 猜拳系统实战 | 技术集结

原创

于 2025-09-06 10:01:39 发布 · 507 阅读

12 ·

CC 4.0 BY-SA版权

本项目的题目为: 石头剪刀布猜拳识别。本项目实现了基本猜拳识别、根据识别猜拳结果，与机器内的手势对比，根据结果控制舵机的行为，并且将识别的结果同步显示在上位机。

项目概述

硬件清单

舵机控制引脚

软件与运行环境

固件编译

创建数据集

模型训练

代码结构与主要函数

使用方法

常见问题

项目源码

1 项目概述

目标: 在3秒以内识别猜拳的结果，并且根据猜拳输赢控制舵机旋转，将识别结果显示在上位机
平台: 瑞萨visionboard(摄像头、GPIO)
核心思路:
- 通过瑞萨visionboard采集照片数据作为数据集进行模型训练
- 将采集的数据集通过edge impulse进行训练
- 使用mqttx接受来自瑞萨visionboard的识别数据
- 根据识别猜拳结果控制舵机行为
使用手册: RA8D1 Group User’s Manual: Hardware（https://www.renesas.cn/zh/document/mah/ra8d1-group-users-manual-hardware?r=25456556）
使用烧写工具: Renesas Flash Programmer V3.12（https://en.freedownloadmanager.org/Windows-PC/Renesas-Flash-Programmer.html）
openmv固件: openmv固件（https://github.com/RT-Thread-Studio/sdk-bsp-ra8d1-vision-board）

2 硬件清单

瑞萨visionboard开发板(摄像头)
摄像头(RGB565，工作分辨率 320×240，ov5640)
360度 SG90舵机

3 舵机控制引脚

P008 —> 舵机
P008地址: 0x4040_0000 + 0x0020 × m(参考RA8D1 Group User’s Manual: Hardware 655页)

4 软件与运行环境

openmv固件（https://github.com/RT-Thread-Studio/sdk-bsp-ra8d1-vision-board）
主要依赖: sensor、time、tf、network、uctypes

5 固件编译

从github（https://github.com/RT-Thread-Studio/sdk-bsp-ra8d1-vision-board）仓库上将代码拉取到本地
运行链接脚本后，进入到 sdk-bsp-ra8d1-vision-board-master\projects\vision_board_openmv，打开 RT-Thread Env Tool，输入 scons —target=mdk5
项目生成后在C++ 预处理加上MICROPYTHON_USING_UCTYPES 的 define
(可以在sdk-bsp-ra8d1-vision-board-master\projects\vision_board_openmv\packages\micropython-v1.13.0\port\mpconfigport.h查看定义)，
编译后在objects文件夹下得到rtthread.hex的openmv固件
使用Renesas Flash Programmer V3.12 烧写固件，将 Enable address check of program file 选项去除勾选

6 创建数据集

使用瑞萨visionboard进行训练图片采集，这样可以保持输入输出的一致，一定程度上提高了识别的准确率。

import sensor, image, time, ossensor.reset()sensor.set_pixformat(sensor.RGB565)sensor.set_framesize(sensor.QVGA)  # 320x240sensor.set_windowing((240,240))sensor.skip_frames(time=2000)img_counter = 0while True:    img = sensor.snapshot()    filename = "/dataset/scissors/scissors_img_%03d.jpg" % img_counter    img.save(filename)    print("Saved:", filename)    img_counter += 1    time.sleep_ms(500)if img_counter >= 550:  # 停止条件break

运行时需要插入sd卡，并且提前创建对应的文件夹

7 模型训练

使用edge impulse训练模型，使用Transfer learning，图片大小为240*240，训练时将图片输入改为灰度，减少干扰

8 代码结构与主要函数

mqttx：
- def publish(self, topic, msg, retain=False, qos=0): 发送消息到mqttx

def publish(self, topic, msg, retain=False, qos=0):      pkt = bytearray()      # MQTT publish header      header = 0x30      if retain:          header |= 0x01      if qos == 1:          header |= 0x02      elif qos == 2:          header |= 0x04      pkt.append(header)      # 计算剩余长度      remaining_length = 2 + len(topic) + len(msg)      if qos > 0:          remaining_length += 2  # 包含packet id      # 先编码剩余长度      def encode_len(length):          encoded = bytearray()          while True:              digit = length % 128              length = length // 128      &nbs