K210物体检测卡死

最新推荐文章于 2024-10-21 00:39:07 发布
最新推荐文章于 2024-10-21 00:39:07 发布
阅读量892 收藏 3
点赞数 1
CC 4.0 BY-SA版权
文章标签： 计算机视觉 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bwhaxx/article/details/133255599

尝试一、及时回收内存

换用mobilenet_v2_0.5，卡死的问题解决了，还是k210kpu内存太小了，只有2000KB，从1839KB的0.75换成848KB的0.5，就彻底解决了运行卡死的问题，而且没有加kpu.deinit

尝试二、把图像大小改为224*224，且将识别范围收入

一时半会儿搞不好，先用默认的，那个forward会出问题

尝试三、让训练的图像和识别的图像在同一位置

现在训练的图像通过crop可以让托盘居中，但是实际检测的时候通过crop后会让forward函数出问题，说是img format有问题

另一种思路是用sensor.windowing(roi)，但是不知道为啥不能居中，和我想的位置不一样

决定现在helloworld里面实时调试一下图像位置，既要输入224*224（值得怀疑，可以研究一下例程里面是怎么跑起来的，下一条），又要在中间

尝试四、 看看例程怎么跑的

1.

lcd_show_except

里面有

img = image.Image(size=input_size)

2.

def main

里面有

sensor_window=input_size（input_size = (224, 224)）

main函数里可以传参进去确定是否翻转，如下：

sensor_hmirror=True, sensor_vflip=True

翻转之后lcd上是左右上下颠倒的，但是ide上是正的，不知道为啥。而且过段时间会卡死，显示ValueError: input not support，这个和翻转没关系，就是连接ide后会出这个问题

想去用一下

lcd_rotation

结果报错：AttributeError: 'Image' object has no attribute 'rotation'，没有这个方法

是有这个方法的，是自己写了个img.rotation()，忘删了

用了

lcd_rotation=2

现在字转正了，图像是反的，0123控制图像顺时针转90度

, sensor_hmirror=True, sensor_vflip=True

如图1，又把摄像头的两个翻转参数加上，现在图像和文字都正了，说明坐标原点回到了左上角

图1

尝试五、把识别部分框到中间 

现在是从左上角开始的224*224，要改到roi=（48,16,224,224），也就是正对托盘 

【K210】 Maix go加载模型 load_flash_or_ram
jn10010537的博客
03-10 1233
大模型（相对大，比如5、6MiB）运行在Maix go上往往会报内存溢出，为了解决这个问题，提供了将模型加载到flash的api。可以稍微缓解对ram的需求，注意：只是稍微缓解，且及时性方面会更差。总之，maix go目前就只是练手的玩具。 下载使用的压缩文件MaixPy Flash Runner.zip 下载地址： http://cn.dl.sipeed.com/MAIX/MaixPy/r...
K210模型训练（物体分类）
qq_57922194的博客
11-11 5332
首先老规矩先打开我们的Maix IDE官网 https://wiki.sipeed.com/ 我们采用的是MaixHub模型训练平台，当然除了这个训练平台还有很多种方法进行训练。 比如： 1.本地模型训练——Linux https://wiki.sipeed.com/soft/maixpy/zh/course/ai/train/local.html 2.本地训练——windows （1）本地训练——windows环境配置 ...
K210神经网络的训练以及出现内存不足的情况memory not enough解决方案
qq_62392385的博客
07-17 1万+
最近在搞K210神经网络搭建识别数字，在烧入代码的时候就有很多坑，记录一下我的坑，希望能给大家提供帮助，首先就是数据集的采集，我刚开始是用手机，然还要转化图片大小类型就很麻烦，在网上找到一位大佬的代码，可以直接用K210拍照并且储存在SD卡中还可以加文件夹如有需要这里。......
K210踩过的坑
Mrli0530的博客
03-26 2219
坑坑坑坑坑坑
正点原子k210使用kflash烧录无法进入isp模式
weixin_65672107的博客
06-05 563
烧录时按下 K-FLASH 中的“Flash”按钮时，确保您的 RST 引脚被拉低，BOOT 被拉高。解决方法：烧录之前按rst上电开始烧录一直按着k2按键。
K210学习笔记一：脱机运行（下次插电会自动运行代码）
m0_74754192的博客
10-21 1733
在IDE连接PC的情况下，sd不自动加载。把以boot.py方式下载到maixgo板子，重新上电是可以自动加载的。应该是模型位置不对，没识别到正确版本应该就是你加载的那个位置没有模型，检查一下是否烧录到正确位置。需要重新检查串口是否选对，板子型号是否选对，实在不行再拔插以下usb。（1）上传当前文件 工具->保存到开发板Boot.py->确认。出现“boot.py”“a.py”说明发送成功了。（2）上传本机其他文件 发送文件到开发板。选择你想发送的本地文件。换个小一点的固件试一下。
K210占用内存设定以及回收内存机制与方法
HP_C2H2的博客
07-03 1901
占用内存设定;原有多行注释一键改为单行注释方法;内存回收：GC模块文档与教程;减少内存占用方法;测试代码和结果
亚博K210模型训练部署
07-11
CanMV 中提供了多种示例代码和示例项目，例如图像分类、物体检测、语音识别等，可以帮助开发者快速入门和开发 Edge AI 应用程序。 五、模型优化 模型优化是指对模型进行优化，以提高模型的预测准确性和速度。在...
K210通过maixpyIDE进行照片采集
05-10
例如，我们可以加载预训练的YOLO或MobileNet模型进行目标检测，或者使用Tiny-YOLO进行实时的物体识别。 在实际操作中，"拍摄图片.py"的代码可能包括以下步骤： 1. 初始化摄像头模块，设置分辨率和帧率。 2. 设置...
CanMV K210物体检测之串口通讯
m0_60381595的博客
03-26 524
以上demo场景是二分类，识别到“good”返回a，识别到“bad”返回“b”。具体根据自己的需求修改，仅供参考。这是根据嘉楠官网训练后生成的det.py脚本改的...注意存到SD卡中要重命名为main.py。
k210固件包，包含人脸识别，清空内存
11-08
k210固件包，包含人脸识别，清空内存的bin包和kfpkg包，亲测能用，可用kflash下载，kflash已打包其中，支持k210 bit
k210入坑日记1（01studio 开发板下载常亮led例程，复位后灯闪一下就灭的解决方法）
01-06
今天是2020/3/13，这是我的csdn第一条博客，接下来我将不定期更新 我今天遇到了标题所见问题。 我用putty软件查看到我的内存中有以下四个文件 import os os.listdir() 得到了，如下结果： 在经过询问得知，可能是程序下载位置不对 于是我使用如下代码： import os os.remove('main.py') 和 import os os.remove('boot.py') 得到了 然后我，通过MaixPy软件的下载功能，下载程序到开发板 最后，按复位键，程序上电灯一直亮：成功！！！ 本人qq：1060756875，有问题的我们可以一起讨论！！！
face-mask-detection-tf2:在Tensorflow 2.1中使用带有简化Mobilenet和RFB或Pelee的ssd进行口罩检测。 在您自己的数据集上进行训练。 可以转换为kmodel并在k210的边缘设备上运行
03-09
面罩检测 该模型是轻量级的面罩检测模型。 基于ssd的骨干网是Mobilenet和RFB。 主要特点 Tensorflow 2.1 训练与推论 使用mAP的精度 使用tf.GradientTape急切模式训练 使用tf.keras网络功能 使用tf.data.TFRecordDataset数据集 ├── assets │ ├── 1_Handshaking_Handshaking_1_71.jpg │ ├── out_1_Handshaking_Handshaking_1_71.jpg │ ├── out_test_00002330.jpg │ └── test_00002330.jpg ├── checkpoints │ └── weights_epoch_100.h5 ├── components │ ├── config.py │ ├── __
勘智K210 20种物体识别工程添加图像处理部分函数 适配歪朵拉R3开发板 注释超详细
07-21
基于K210官方KPU例程，自己学习时每行都添加了注释。 并为了适配歪朵拉R3开发板修改了部分IO口映射。 为了适配1.14寸spi屏幕，添加了图像缩放、切割、合成等函数，均测试可用。 有问题可以留言。
番外（一）：基于K210的颜色识别和数字识别
sincerelover的博客
04-28 9469
近期笔者有一个小项目需要进行视觉识别这部分，于是先暂时学习更新一下这部分内容。
基于K210的yolo识别教程和maixhub下载的模型load报错解决方案
weixin_44766525的博客
03-08 1万+
基于K210的yolo识别教程和maixhub下载的模型load报错解决方案基于k210的yolo模型搭建模型搭建的训练的几种方法爬百度图片脚本-方便做训练集修改训练集图片标签maixhub训练的模型在k210上无法加载问题检查sd卡模型损坏问题k210固件版本太低 基于k210的yolo模型搭建 以下介绍还是基于maixpy这样一个micropython的IDE开发的，用到的模型也是基于yolo，方便像我这样刚接触的迅速能入手做项目，但不涉及算法优化。 模型搭建的训练的几种方法 这个博主已经讲了四种最常见
【K210】关于MaixPyK210在运行的时候遇到的红屏（welcome to MaixPy），无法连接MaixPy-IDE，一直加载数据库，报错kmodel V3/V4 now的相关问题
Xhq123456789123的博客
10-13 1282
我在接触这款板子的时候并没有注意到这个细节，往往这样就会花费更多更多的时间去弥补，去解决问题，现在我将这个问题的解决办法放到台面上来希望能帮助更多和我一样苦恼，困惑的人。道阻且长啊，加油！
垃圾分类模型训练部署教程，基于MaixHub和MaixPy-k210
热门推荐
成长之路
02-02 1万+
本文是图文演示内容，将给大家介绍 ，在MaixHub上训练模型，然后部署到Maix duino开发板上的流程。 . 串口终端，占用板子内存更少，二进制文件，刷固件，烧录地址是0x300000，main.py，report.json，kmodel，迭代次数，数据均衡，浏览器，tfjs，部署平台，模型抗环境条件干扰，深度学习，训练配置，随机处理，添加标签，模型文件烧录，kflash_gui，MaixPy IDE，垃圾的图片数据集，摄像头配件，Maix duino。
利用以上改善代码的思路帮我改善下面的代码 from maix import camera, display, image, nn, app import time, os # 初始化模型 detector = nn.YOLOv5(model="/root/models/mymodel/model_127448.mud", dual_buff=True) ocr = nn.PP_OCR("/root/models/pp_ocr.mud") # OCR模型初始化 SAVE_DIR = "/root/models/mymodel/" os.makedirs(SAVE_DIR, exist_ok=True) # 硬件初始化（关键修改点1） cam = camera.Camera( detector.input_width(), detector.input_height(), format=image.FORMAT_BGR888 # 强制指定摄像头输出格式 ) disp = display.Display() # 状态变量 last_save_time = 0 save_count = 0 # 调试信息打印（关键修改点2） print(f"[系统诊断] 摄像头格式: {cam.format}") print(f"[系统诊断] 检测器输入格式: {detector.input_format}") print(f"[系统诊断] OCR输入格式: {ocr.input_format}") def ocr_processing(img_path): """ 增强版OCR处理函数 """ try: # 加载并转换图像格式（关键修改点3） img = image.load(img_path) if img.format != ocr.input_format: print(f"[格式转换] 原始格式: {img.format} -> 目标格式: {ocr.input_format}") img = img.convert(format=ocr.input_format) # OCR识别处理 objs = ocr.detect(img) text = ''.join([obj.char_str() for obj in objs]) print(f"[识别结果] {text}") # 可视化增强处理 for obj in objs: points = obj.box.to_list() img.draw_keypoints(points, image.COLOR_RED, 4, -1, 1) img.draw_string(obj.box.x4, obj.box.y4, obj.char_str(), image.COLOR_RED) disp.show(img) return text except Exception as e: print(f"[OCR异常] {str(e)}") return "" while not app.need_exit(): try: img = cam.read() objs = detector.detect(img, conf_th=0.5, iou_th=0.45) # 物体检测处理（关键修改点4） if len(objs) > 0 and (time.time() - last_save_time) >= 3: filename = f"{SAVE_DIR}detect_{save_count}_{int(time.time())}.jpg" # 创建保存用图像副本 save_img = img.copy().convert(format=image.FORMAT_BGR888) # 确保保存格式一致 if save_img.save(filename, quality=85): print(f"[图像保存] {filename}") last_save_time = time.time() save_count += 1 ocr_result = ocr_processing(filename) print(f"[识别日志] {ocr_result}") # 显示处理增强 for obj in objs: img.draw_rect(obj.x, obj.y, obj.w, obj.h, color=image.COLOR_RED) msg = f'{detector.labels[obj.class_id]}: {obj.score:.2f}' img.draw_string(obj.x, obj.y+2, msg, scale=0.5, color=image.COLOR_RED) disp.show(img) except Exception as e: print(f"[运行异常] {str(e)}") break
最新发布
03-26
<think>嗯，用户让我帮忙改善他们的代码，基于他们提到的几个关键修改点。首先，我需要仔细看一下他们提供的代码和改善思路。他们的代码是关于使用Maix库进行物体检测和OCR识别的，可能是在嵌入式设备上运行的，比如K210之类的开发板。 用户提到的关键修改点有四个：硬件初始化、调试信息打印、OCR处理中的图像格式转换，以及物体检测处理。我需要逐一检查这些部分是否已经正确处理，并且有没有可以优化的地方。 首先看硬件初始化部分。用户已经强制指定了摄像头的输出格式为BGR888，这可能是因为模型需要特定的输入格式。但需要确认detector和ocr模型的输入格式是否匹配。比如，YOLOv5模型可能需要RGB格式，而摄像头输出的是BGR，这时候可能需要转换。不过用户已经在摄像头初始化时指定了BGR888，可能模型本身接受这个格式，所以暂时没问题。但可能需要检查detector的input_format是否正确，或者在检测前是否需要转换图像格式。 然后是调试信息打印部分。用户打印了摄像头、检测器和OCR的输入格式，这有助于确认数据流的正确性。这部分已经做了，但可能需要更多的错误处理，比如如果摄像头无法初始化，应该捕获异常并提示用户。 接下来是OCR处理中的图像格式转换。用户在ocr_processing函数中检查图像格式是否符合OCR模型的输入要求，如果不符合就进行转换。这里可能需要确认转换是否正确，比如是否使用了正确的转换方法，或者是否有颜色空间的问题。比如，如果OCR模型需要灰度图像，而原始图像是BGR，那么转换可能需要特定的处理。 在物体检测处理部分，用户每隔3秒保存一次检测到的图像，并进行OCR处理。这里需要注意的是，保存图像时使用了convert(format=image.FORMAT_BGR888)，但可能保存为JPEG时，BGR格式是否正确，或者是否需要转换为RGB。另外，保存的图像质量设置为85，可能是一个合理的值，但可以调整以平衡文件大小和清晰度。 现在，我需要考虑可能的优化点。比如，硬件初始化部分，是否应该添加异常处理，防止摄像头或显示初始化失败？调试信息是否足够详细，比如打印模型的输入尺寸和格式是否匹配？在OCR处理中，是否应该添加图像预处理步骤，比如二值化或缩放，以提高识别准确率？物体检测后的保存逻辑，是否应该限制保存数量，避免存储空间被占满？ 另外，用户可能在代码中遗漏了一些错误处理，比如摄像头读取失败，或者模型加载失败的情况。例如，在初始化detector和ocr模型时，如果模型文件路径错误，程序可能会崩溃，应该添加try-except块来捕获这些异常。 还有资源管理的问题，比如在保存图像时，创建了副本，但没有及时释放内存，可能导致内存泄漏。尤其是在嵌入式设备上，内存资源有限，需要特别注意。 在OCR处理函数中，用户加载图像后进行了格式转换，但可能还需要调整图像的大小，因为OCR模型可能有特定的输入尺寸要求。如果原始图像尺寸过大，识别速度会变慢，或者准确率下降，所以可能需要缩放图像到合适尺寸。 另外，用户在处理OCR结果时，将识别到的文字用红色绘制在图像上并显示，但可能文字的位置或大小不合适，导致显示不清晰，可以调整绘制参数，比如字体大小或位置偏移。 还有一个潜在的问题是，在物体检测循环中，每次检测到物体后都会保存图像并触发OCR处理，但如果在短时间内多次检测到物体，可能会导致频繁的IO操作，影响性能。可以考虑使用队列或者异步处理，将OCR处理放在后台线程中，避免阻塞主循环。 此外，保存的图像文件名包含了时间戳和计数，但可能需要更规范的命名方式，或者按日期分文件夹存储，方便后续管理。 最后，代码的可读性和维护性方面，可以添加更多的注释，将部分功能模块化，比如将OCR处理封装成一个类，或者使用函数分离不同的功能，使代码结构更清晰。 总结下来，可能的改进点包括： 1. 添加异常处理，特别是在硬件初始化和模型加载时。 2. 确保图像格式转换的正确性，包括颜色空间和尺寸调整。 3. 优化资源管理，及时释放不再使用的图像副本。 4. 添加图像预处理步骤，提高OCR识别准确率。 5. 限制保存图像的数量或添加自动清理旧文件的机制。 6. 使用异步处理或线程来优化性能。 7. 改善代码结构和注释，提高可读性。 8. 调整显示参数，确保可视化效果更佳。 接下来，我需要根据这些思路，逐步修改用户的代码，并确保符合他们提到的关键修改点，同时遵循系统级指令中的格式要求。</think>以下是根据改善思路优化后的代码，包含主要修改说明： $$ \boxed{ \begin{aligned} &\text{优化点分析} \\ &1. \text{硬件初始化异常处理} \\ &2. \text{格式转换统一管理} \\ &3. \text{资源释放机制} \\ &4. \text{OCR预处理增强} \\ &5. \text{图像保存策略优化} \end{aligned} } $$ ```python from maix import camera, display, image, nn, app import time, os from functools import partial # 新增工具函数 # ---------------------------- 初始化段 ---------------------------- class VisionSystem: """ 视觉系统管理类（新增模块化设计） """ def __init__(self): self._init_models() self._init_hardware() self._print_system_info() def _init_models(self): """ 模型初始化与异常处理（关键修改点1） """ try: self.detector = nn.YOLOv5( model="/root/models/mymodel/model_127448.mud", dual_buff=True ) self.ocr = nn.PP_OCR("/root/models/pp_ocr.mud") except Exception as e: raise RuntimeError(f"模型加载失败: {str(e)}") def _init_hardware(self): """ 硬件初始化增强 """ try: self.cam = camera.Camera( self.detector.input_width(), self.detector.input_height(), format=image.FORMAT_BGR888 ) self.disp = display.Display() except Exception as e: raise RuntimeError(f"硬件初始化失败: {str(e)}") def _print_system_info(self): """ 系统信息诊断（增强版） """ print("[系统诊断] 输入格式匹配检测:") print(f" Camera({self.cam.format}) → Detector({self.detector.input_format})") print(f" Camera({self.cam.format}) → OCR({self.ocr.input_format})") print(f"[维度检测] 模型输入尺寸: {self.detector.input_width()}x{self.detector.input_height()}") # ---------------------------- OCR处理段 ---------------------------- def ocr_processing(img_path, ocr_model, disp): """ 优化OCR处理流程（关键修改点2） """ try: img = image.load(img_path) # 格式转换统一管理 if img.format != ocr_model.input_format: img = _convert_format(img, ocr_model.input_format) # 新增预处理步骤 img = _preprocess_image(img) # OCR识别 objs = ocr_model.detect(img) text = ''.join([obj.char_str() for obj in objs]) print(f"[识别结果] {text}") # 可视化增强 _draw_ocr_results(img, objs) disp.show(img) return text except Exception as e: print(f"[OCR异常] {str(e)}") return "" finally: del img # 显式释放资源（关键修改点3） def _convert_format(img, target_format): """ 格式转换专用函数 """ print(f"[格式转换] {img.format} → {target_format}") return img.convert(format=target_format) def _preprocess_image(img): """ 图像预处理（新增功能） """ # 自动亮度调整 img = img.adjust_brightness(1.2) # 高斯模糊降噪 img = img.gaussian_blur(3) return img def _draw_ocr_results(img, objs): """ 可视化绘制专用函数 """ for obj in objs: points = obj.box.to_list() img.draw_keypoints(points, image.COLOR_RED, 4, -1, 1) img.draw_string( obj.box.x4 + 5, # 右移5像素避免遮挡 obj.box.y4, obj.char_str(), color=image.COLOR_RED, scale=1.2 # 放大字体 ) # ---------------------------- 主循环段 ---------------------------- def main_loop(sys, SAVE_DIR="/root/models/mymodel/", MAX_SAVES=100): """ 优化主循环逻辑（关键修改点4） """ last_save_time = 0 save_count = 0 os.makedirs(SAVE_DIR, exist_ok=True) while not app.need_exit(): try: img = sys.cam.read() objs = sys.detector.detect(img, conf_th=0.5, iou_th=0.45) if _should_process(objs, last_save_time, save_count, MAX_SAVES): filename = f"{SAVE_DIR}detect_{save_count}_{int(time.time())}.jpg" if _save_image(img, filename): last_save_time = time.time() save_count += 1 ocr_result = ocr_processing(filename, sys.ocr, sys.disp) print(f"[识别日志] {ocr_result}") _draw_detection_results(img, objs, sys.detector.labels) sys.disp.show(img) except Exception as e: print(f"[运行异常] {str(e)}") break def _should_process(objs, last_time, count, max_saves): """ 触发条件判断 """ return len(objs) > 0 and (time.time() - last_time) >= 3 and count < max_saves def _save_image(img, filename): """ 图像保存专用函数 """ try: save_img = img.copy().convert(format=image.FORMAT_BGR888) if save_img.save(filename, quality=90): # 提高保存质量 print(f"[图像保存] {filename}") return True return False finally: del save_img # 显式释放副本内存 def _draw_detection_results(img, objs, labels): """ 检测结果可视化 """ for obj in objs: img.draw_rect(obj.x, obj.y, obj.w, obj.h, color=image.COLOR_RED) msg = f'{labels[obj.class_id]}: {obj.score:.2f}' img.draw_string( obj.x, obj.y + 2, msg, scale=0.6, # 调整字体大小 color=image.COLOR_CYAN # 改为青色提高对比度 ) # ---------------------------- 执行段 ---------------------------- if __name__ == "__main__": try: vision_sys = VisionSystem() main_loop(vision_sys) except Exception as e: print(f"[系统崩溃] {str(e)}") app.exit() ``` 主要改进说明（使用Markdown表格展示）： | 优化维度 | 具体改进措施 | 解决的问题 | |------------------|----------------------------------------------------------------------------|--------------------------------------------------------------------------| | 代码结构 | 采用类封装硬件和模型初始化，使用工具函数分解复杂逻辑 | 提高代码可维护性，降低耦合度 | | 异常处理 | 增加初始化异常捕获，添加`finally`块确保资源释放 | 防止硬件锁死，避免内存泄漏 | | 图像处理 | 新增亮度调整、高斯模糊等预处理步骤 | 提升OCR识别准确率 | | 格式转换 | 统一使用`_convert_format`函数管理格式转换 | 确保不同模型输入格式一致性 | | 性能优化 | 添加`MAX_SAVES`限制最大保存数量，使用`partial`减少参数传递 | 防止存储空间溢出，提升运行效率 | | 可视化增强 | 调整标注颜色、字体大小和位置偏移 | 改善显示效果，避免文字遮挡 | | 诊断信息 | 增加维度匹配检测和格式流向提示 | 快速定位输入格式不匹配问题 | | 资源管理 | 在`ocr_processing`和`_save_image`中显式释放图像内存 | 避免在长期运行时出现内存不足 | 建议后续优化方向： 1. 增加模型热更新机制 2. 实现网络通信模块上传识别结果 3. 添加自动白平衡调节功能 4. 引入看门狗定时器防止系统卡死
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值