【大模型技术探索 | 02】OrangePi AIPro上手初体验,竟然能跑大模型

1. 概述

​ 最近拿到了OrangePiAIPro开发板,评测下资源、可用性和性能。

​ OrangePiAIPro开发板是香橙派联合华为精心打造的高性能AI开发板,其搭载了昇腾AI处理器,可提供8TOPS INT8的计算能力,内存提供了8GB和16GB 两种版本。可以实现图像、视频等多种数据分析与推理计算,可广泛用于教育、机 器人、无人机等场景。

2. 开箱

2.1 开箱图

img

2.2 概述(包含资源情况)

image-20240720212650008

image-20240720212704320

资源比较多,像MIPI接口、WIFI、以太网、蓝牙、显示、音频输入输出都有,性能也比较强劲,可以做很多事情了。

2.3 接口详情

image-20240720212831271

3. 环境搭建

3.1 资源下载

下载链接:[Orange Pi - Orangepi](Orange Pi - Orangepi)

image-20240720213512743

如果不重新编译KDR,可以不用下载官方镜像。

3.2 工具准备

  • 设备
    • OrangePi AIPro开发板一台
    • MicroUSB线一根
    • 开发板自带电源一个
    • 开发板自带32G TF卡一张
  • 软件
    • Windterm终端软件

3.2 设备连接及启动设置

  • 接线图

    • 电源连接

      image-20240720214323980

    • MicroUSB串口线连接至电脑

      image-20240720214211334

  • 启动配置

    官方自带了32G的TF卡,BOOT1和BOOT2拨动到右侧即可。

image-20240720213929454

image-20240721022537192

3.3 开机

开机后,可以在串口看到启动信息

ep/rc mode: 0
Enable wdg.
#1
Pll Init ..pll[0] inited
pll[2] inited
pll[3] inited
pll[4] inited
pll[5] inited
OK.
....

[  OK  ] Started Command Scheduler.
         Starting Light Display Manager...
         Starting Hold until boot process finishes up...
         Starting Hostname Service...
[  OK  ] Started OpenSSH server daemon.
[  OK  ] Created slice User Slice of UID 0.
         Starting User Runtime Directory /run/user/0...
[  OK  ] Finished User Runtime Directory /run/user/0.
         Starting User Manager for UID 0...

openEuler 22.03 LTS dracut-055-4.oe2203 (Initramfs)
Kernel 5.10.0+ on an aarch64

orangepiaipro login: 
  • 账号密码:
root Mind@123 或 HwHiAiUser Mind@123

3.4 网络配置

开发板支持以太网和WIFI两种网络连接方式,这里因为连接有线不太方便,就直接使用WIFI连接了。

WIFI的天线安装如下图(不可以粘贴到开发板背面,防止短路):

image-20240720215102276

# 扫描可用的wifi热点
(base) HwHiAiUser@orangepiaipro:~$ nmcli dev wifi
[sudo] password for HwHiAiUser: 
IN-USE  BSSID              SSID                 MODE   CHAN  RATE        SIGNAL  BARS  SECURITY  
        D8:3D:CC:1A:
### Orangepi AIPro 模型转换方法 对于希望在Orangepi AIPro上执行AI推理任务的应用开发者来说,模型转换是一个重要的环节。为了使预训练好的神经网络能够在资源受限的嵌入式平台上高效运行,通常需要将原始框架中的模型文件转化为适合目标平台使用的格式。 #### 使用NPU加速工具链进行模型优化与转换 考虑到OrangePi AIpro内置了专用的人工智能协处理器(NPU),可以利用其配套提供的编译器和量化工具来完成这一过程[^2]。具体而言: - **安装依赖软件包** 需要先确保系统已经正确设置了Python环境以及其他必要的库函数。可以通过以下命令获取所需的基础组件: ```bash sudo apt-get update && sudo apt-get install python3-pip libatlas-base-dev pip3 install numpy opencv-python onnxruntime ``` - **下载并设置NNCASE** NNCASE是由 Kendryte 开发的一款用于K210芯片组的神经网络编译套件,同样适用于OrangePi AIpro所搭载的S905D3-H核心。从GitHub仓库克隆项目源码后按照说明文档指示构建本地版本。 ```bash git clone https://github.com/kendryte/nncase.git cd nncate; mkdir build; cd build cmake .. make -j$(nproc) export PATH=$PATH:/path/to/your/ncc/bin ``` - **准备待移植的ONNX模型** 多数流行的机器学习框架都支持导出为开放神经交换(Open Neural Network Exchange, ONNX)标准格式。如果手头已有其他形式(.h5,.pb等),建议借助官方插件或第三方工具将其转成通用中间表示法。 - **调用NNCase CLI实现模型适配** 接下来就是实际操作部分——通过命令行界面指定输入参数以启动转换流程。这里假设有一个名为`model.onnx`的目标文件等待处理。 ```bash ncc compile model.onnx model.kmodel -i onnx --dataset ./calibration_images/ ``` 上述指令会读取给定路径下的图片集作为校准样本,在此期间自动调整权重分布从而获得更好的精度表现;最终产出`.kmodel`结尾的新二进制数据流可以直接加载至设备端参与预测工作。 #### 测试已转换后的模型性能 一旦完成了上述步骤,则可以在OrangePi AIpro上面部署新生成的模型,并编写简单的应用程序来进行初步验证。比如采用C++或者Python API快速建立一个基于摄像头实时视频流的对象分类案例,观察识别速度及准确性是否满足预期需求。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机器未来

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值