K210系列开发板介绍

勘智K210是一款什么样的芯片?

勘智K210是小编去年买的一块AIRV R3开发套件时接触的一款芯片。性价比不错,如下图所示:具有双核64位处理器,并自带独立FPU;有一块KPU用于神经网络加速单元;还有一块APU用于语音数据处理。

v2-cf1e46722a9059108d1bcfbc965c377d_b.jpg

所以这块芯片具有视觉和听觉处理能力,功耗低,性能高的特点,并且采用TSMC 28纳米制程,稳定性和可靠性具有一定保证。因此常被用在物联网领域的开发(勘物)和人工智能领域的探索(探智),而得名勘智。

K210有没有明显的缺陷呢?
有,它的内存短板。内置8MByte的高速SRAM,减小了系统复杂度的同时,给软件带来了优化难度。在PC上训练的上百M模型,如何在移动端压缩到几十M的大小,将模型降低一个数量级塞进8M SRAM,是个难点。

K210硬件模块强在哪里?

先上一张AIVR R3版本的硬件模组图:

v2-e6374733750e9725715f37b015076bef_b.jpg

我们可以看到在底板上除了一块K210芯片,一颗OV2640摄像头,一个LCD屏外,还包含很多外设接口,TypeC用于串口调试,TF卡槽用于外插存储,Wifi接口,32MB Flash等。

我们在这里主要说说它的K210芯片模组,它基于双核RISC-V 64位处理器,RISC-V是近几年大火的开源指令集架构(ISA),简单且高效。双核的主频高达600MHZ,可以应对各种业务场景及计算任务。硬件浮点指令加速:两个核心均支持双精度指令加速,可使简单的渲染高达100fps

此芯片还自研了一块用于边缘计算的KPU进行神经网络加速,官方Demo中提供了一些人脸检测、图像识别、图像分类的视觉任务,分类任务最高可达到240fps的分类网络推理速度;检测任务在QVGA的网络下,模型帧率最高可达35fps。常被嵌入到门禁系统、考勤系统等。

另外一个设计亮点在于芯片号称1TOPS算力,却只有0.3W的功耗,远远典型设备1W左右的功耗

v2-1640c8759d7b3abb1a5f35a09134480a_b.jpg

备注:根据教程该主板在电路设计上支持OV2640/ OV5640/OV7725三种型号的单目摄像头以及双目摄像头GC0308。是否可以试试在扫地机上做做vslam!

支持哪些AI解决方案?

市面上有很多边缘计算的AI落地方案,比如用GPU的Nvidia系列,用NPU的瑞芯微RK3399 Pro,用FPGA的Xilinx产品,用DSP的TDA方案等等,虽然算力动则十几TOPS,甚至几十TOPS,不过价格实在昂贵。入手一块TX2也要3000+RMB。

相比之下搭载K210的AIVR套件就成了学生党或者消费级娱乐玩家的福音,算力超同价位的ARM架构的芯片,而且还支持一些简单的机器学习集。之前可能大家会用树莓派自娱自乐的开发,但是一套4B配摄像头的套件也要5-600左右,由于没有CNN加速单元,在AI产品的部署上性能还不及K210。

机器视觉解决方案主要依靠KPU计算卷积神经网络。KPU内置了部分运算操作,根据官方例程,它可以用于实现以下几种计算机视觉任务:

  • 基于CNN的目标检测
  • 基于CNN的图像分类
  • 目标测距和定位
  • 人脸检测和识别

不少有兴趣的小伙伴拿它做了自己的程序也展现在网络上,小编从B站上搜刮了一些可能的应用(如有侵权请联系小编):

v2-d61888f7a197fbe3d14bba636747d78b_b.jpg

红绿灯检测

v2-22497bcc176a23be71b82ba6beca1f81_b.jpg

分拣系统

v2-1cea1234de9c3f0f003d40993470355f_b.jpg

垃圾分类

除了支撑机器视觉解决方案,它还能用于做机器听觉解决方案。主要依靠APU处理麦克风阵列输入,进行声源定向和波束形成。可以实现以下几种语音任务:

  • 声源定向:
  • 波束形成:
  • 语音识别
  • 语音唤醒

处理语音时接受麦克风阵列的数据,得出声音的方向,强度,空间角度信息,并做纯硬件的波束形成。同时再得到语音信号后进行算法识别。

上面我们说了该芯片有多强有厉害,但是在实际使用中还是存在很多边界条件,比如:

  • 仅支持内核1×1和3×3两种卷积;
  • 最大支持网络参数不超过6M;
  • 工具链提供的生态比较单一;
  • 解决方案中不能支持多模型运算;

从芯片本身来讲,由于SRAM较小,芯片无法支持较为复杂的模型,这意味着一些模型想要部署到芯片上需要进行一定的压缩剪枝操作,或者使用模型蒸镏。然后芯片也是定点器件,对模型参数定点化也是必要的。

市场定位将何去何从?

小编在逛知乎时看到一位兄台对该芯片定位的评论,从做产品角度相当赞同。大概意思如下:

智能产品的开发,如果基于PC级芯片进行AI加速,基本已经被Nvidia显卡和软件生态链牢牢垄断;如果基于嵌入式进行AI加速在众多芯片大厂之间已经杀的火热,比如Xlinx、TI、Rockchips、Qualcomm、NXP等;但是基于MCU级别的市场,并没有太多的厂商all-in低精度而是对中高精度的神经网络计算保留了较好的支持,完全有希望对Cortex M系列拉开差距。

规划产品首先就要找准市场,想要后来居上弯道超车谈何容易,要么就是眼光独到早早入局分一杯羹,要么就是人力财力充足,规划清晰。比如在新能源造车如火如荼的今天,除了早期的那几家特斯拉、蔚来、小鹏等,或者资源充足的华为、小米等后来入局者大多数日子真不好过。

回到K210芯片的市场发展角度,有没有风险呢?当然有,高不成低不就。1TOPs的算力在主流AI芯片中实在太少,再加上其内存限制,一套完整的解决方案下来实在够呛。

从支持国产的角度希望它能找准产品发力点,从K210到K510以及后续可能的算力更强、制程成本更低的产品能具有更强的市场竞争力。


欢迎关注小编公众号,每周分享关于计算机视觉或无人驾驶感知方面的内容。

weixin.qq.com/r/GR1udl- (二维码自动识别)

### K210 芯片与 OV5642 摄像头模块的兼容性及使用方法 #### 硬件兼容性分析 K210 开发板支持多种摄像头模块,其中OV2640 是常见的选择之一。然而对于 OV5642 模块的支持情况也值得探讨。OV5642 作为一种高性能 CMOS 图像传感器,在分辨率和支持的功能上更为强大,可以达到更高清的效果。 由于 K210 提供了 DVP 接口用于连接摄像头模块,并且该接口遵循 SCCB 协议来配置摄像头寄存器[^3],因此理论上只要适配好相应的驱动程序并调整初始化参数,就可以使 K210 成功读取来自 OV5642 的数据流。不过需要注意的是,具体实现过程中可能涉及到一些额外的工作: - **电源管理**:确保给 OV5642 提供合适的供电电压。 - **信号电平匹配**:确认两者之间的逻辑电平是否一致。 - **时序同步**:处理好帧率与时钟频率的关系以保证稳定的数据传输。 #### 配置与编程指南 为了能够顺利地让 K210 处理由 OV5642 获取的画面信息,下面给出一段 Python 示例代码展示如何设置相机以及抓拍图片保存至本地存储介质中(假设已经安装好了必要的库文件): ```python import sensor, image, lcd # 初始化 LCD 屏幕显示方向 lcd.init() # 设置 Sensor 参数 sensor.reset() # Reset and initialize the sensor. sensor.set_pixformat(sensor.RGB565) # Set pixel format to RGB565 (or GRAYSCALE) sensor.set_framesize(sensor.QVGA) # Set frame size to QVGA(320x240) while(True): img = sensor.snapshot() lcd.display(img) # 显示捕捉到的图像 # 如果需要保存图片,则取消下一行前面的注释符# #img.save("/sd/image.jpg", quality=90) ``` 这段脚本首先重置了传感器的状态,接着指定了像素格式为RGB564 并设置了画幅尺寸为QVGA标准下的320*240 像素点阵图;最后进入无限循环不断获取最新的一帧画面并通过LCD实时预览出来。如果想要把当前时刻所见的内容记录下来的话还可以调用`save()`函数将其写入SD卡当中去。 #### 实际操作建议 当实际动手搭建这套系统之前,请务必仔细阅读官方文档和技术手册中的说明部分,特别是有关于硬件连线方式的具体指导。另外考虑到不同版本之间可能存在差异,最好能参照最新的资料来进行调试工作。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值