研究兴趣：智能物联网、嵌入式系统、人工智能

一些标志可能是特定于ARM架构的，而其他一些可能是通用的或特定于其他CPU架构的。另外，不同的内核版本返回的标志也可能不同，比如ARMv8-A 64位内核使用 'asimd' 来支持高级SIMD，而ARMv7-A 32位内核使用 'neon'。因此，在ARMv8-A 64位内核上，查找 /proc/cpuinfo 中 "neon" 字符串的NEON检测代码将不起作用。文件在Linux系统中提供了关于CPU的详细信息，包括一系列的标志（flags），这些标志描述了CPU支持的特性和指令集扩展。

我们用前面提到的录音工具录制了自己的中文语音，包括“打开”和“关闭”各100条，同时我们从谷歌的mini_speech_commands样本集里面随机挑选了100条作为"unknown”的样本，三个类别的数据个数要尽量相同，否则训练出来的结果会有倾向性。将tflite格式的文件拷贝到开发板上，并修改前面的测试程序中的模型文件路径和commands设置就可以使用中文的“打开”、“关闭”进行控制了。我所使用的是阿里云的PAI-DSW进行在线训练，平台的使用非常方便，避免了在本机上进行繁琐的设置工作。

接下来就是要尝试训练中文提示词。首先要进行语料采集，这是一个比较耗费人力的事情，通常大公司会有有专人进行语料收集，我只好自己亲自做。这里参考了AliOS Things里面提供的一个录音工具，方便快速录音。对这个工具做了一点修改，原来的代码只能在Linux下运行，现在改成在Windows下也能运行。

Python仓库里面并没有现成的对应这个板子的软件包，需要在板子上编译生成软件包，而PyAudio又依赖PortAudio，而PortAudio在板子上没有移植，所以PyAudio暂时用不了，这个问题以后再想办法解决。我采用的临时办法是修改前面提到的测试音频的shell脚本，由它录制1秒的语音，然后调用Python程序进行关键字识别，如果是YES就打开开发板上的LED灯，如果是NO就关闭开发板上的LED灯，开灯或关灯完成之后会播放相应的提示音。从下面的视频看，基本实现了所需要的效果。

昨天提到要使模型运行的NPU上，必须先将其量化。如果对没有量化的模型使用vela工具进行转换，工具会给出警告，所生成的模型仍然是只能运行在CPU上，而无法运行在NPU上的。当然如果觉得i.MX 93的CPU推理能力已经够用了，此步骤也可以省略。由于不支持，相关的操作将被放置在 CPU 上执行，而不是利用可能存在的更高效的硬件加速（NPU）。，错误信息指出，涉及的输入、输出和权重张量必须具有量化参数，但在这个操作中，某些张量（如。而查看被vela支持的模型，可以看到其输入参数已经被量化，是int8类型的。

这里采用的是已经训练好的模型。在模型推理部分，首先从wav文件中读取语音数据，如果是双声道的，只使用其中的一个声道。我们要想进行语音控制，就需要构建和训练一个基本的自动语音识别 (ASR) 模型来识别不同的单词。的一部分，其中包含命令的短（一秒或更短）音频片段，例如“down”、“go”、“left”、“no”、“right”、“stop”、“up”和“yes”。也提供了类似的代码，不过它需要TensorFlow类，而开发板上默认提供Tflite runtime推理框架，所以我没有使用NXP的方案。

usr/bin/eiq-examples-git/download_models.py 这个脚本是用来下载模型的，不过这个脚本要访问谷歌网盘，不方便的朋友可以从正点原子的网盘下载所需要的文件。i.MX 93支持在Cortex-A上进行CPU推理，也支持为 Arm 自研的 Ethos-U65（NPU）上进行推理。当然后者的推理速度比前者快很多。正点原子的文档说要使用NPU推理，需要用开发板上的vela 工具将tflite模型编译成可以使 NPU 进行推理的 vela 模型，而且模型只支持8位或16位量化。

本文最早发表于电子发烧友：【正点原子i.MX93开发板试用连载体验】基于深度学习的语音本地控制 - 正点原子学习小组 - 电子技术论坛 - 广受欢迎的专业电子论坛!有一段时间没有参加电子发烧友的开发板评测了，主要是不想总是重复以往做过的东西，希望在评测中想学点新东西突破一下自己。