分享AI芯片开发经验

介绍了AI智能硬件的组成与应用。在机器人领域，核心部件包括作为"大脑"的微控制器/处理器、各类传感器（视觉、超声波、触摸）以及动力系统（电机、电池）。手机硬件则重点解析了通信模块（基带芯片、射频模块）和拍照组件（镜头、图像传感器、ISP处理器）。智能硬件应用广泛，涵盖智能家居（音箱、摄像头）、健康监测（手环、血压计）、智能交通（汽车、自行车）和教育（学习平板、机器人）等领域。文章通过具体案例说明了各硬件组件的工作原理和实际应用场景，为理解AI硬件系统提供了全面参考。

AI如何看见世界？它依靠“机器之眼”摄像头捕捉图像，再通过算法解析像素特征。传统视觉算法如人脸识别依靠定位五官关键点，手势识别通过捕捉手指形态实现交互。而现代大模型视觉技术则像全能学霸，通过海量图像训练获得泛化能力，能同时识别多种物体并理解场景关系。从校园刷脸门禁到拍照搜题，从体感游戏到自动驾驶，AI正通过视觉算法深度感知世界，让机器真正“看懂”现实。基于CSK6开发板的实践将带我们亲手实现这些视觉魔法。

AI算法揭秘：智能背后的"核心密码" AI算法就像一套"智能说明书"，通过输入、处理、输出三个步骤让机器像人一样思考和工作。比如语音识别，算法会将声音转化为数字信号，与数据库比对后做出响应。这些算法与数学、语文等基础学科密切相关，如概率统计用于视频推荐，语法分析帮助理解语义。AI通过大量数据训练不断优化，就像学生通过反复练习掌握知识。如今AI已融入生活各个场景，从语音助手到拍照识物，背后都是算法在发挥作用。学习基础学科就是在为理解AI算法打下基础，未来人人都可能参与A

AI的"耳朵"藏在语音识别技术中，通过麦克风捕捉声波转化为数字信号，再拆解为音素单元，最终借助概率模型理解语义。识别过程分为三步：1)声波数字化，将声音转化为波形数据；2)音素分解，将语音拆解为最小发音单位；3)语义推测，基于语言习惯概率匹配最可能含义。实验表明，AI通过积累的"语言经验"能推测模糊语音，但识别效果受语速、音量等因素影响。这项技术展现了算法将声波转化为语义的完整链条。

本文介绍了在聆思CSK6大模型开发板上将默认的小聆AI头像替换为可莉动画的详细步骤。主要内容包括：1）使用LVGL官网工具将GIF动画转换为C语言数组格式；2）修改SDK中的xiaoling_listening_s.c等三个文件，替换动画数据；3）注意事项包括保持36×36像素大小和8KB以内数据量；4）编译固件并使用cskburndesktop工具烧录的完整流程。文章提供了相关开发板文档和可莉固件下载链接，帮助开发者快速实现个性化配置。

前面发了很多在大模型语音交互+智能硬件相关的技术文章，这篇给大家介绍一下大模型语音交互示例的硬件和上手概况。

介绍离线语音交互方案，从端侧芯片功能、端侧常见技术等角度剖析方案要点

本示例工程中默认启用了坐姿检测功能，当摄像头识别到不良坐姿时，开发板上也将闪烁红色 LED 进行提醒，同时，我们也可通过 PC 工具查看实时拍摄的图像与坐姿检测结果。本示例运行时，摄像头将持续拍摄图像并并送入坐姿检测算法进行处理，当检测到画面中出现不良坐姿(如趴桌、手托脸等)时，将闪烁红色 LED 进行提醒，如下图。，可通过唤醒词 —— “小美小美” 对设备进行唤醒，当听到 “在呢” 的提示音后，即可正常进行语音输入。网络：通过 WIFI 芯片接入网络，对接聆思大模型平台，支持与大模型进行对话。

通过本次操作您将掌握如何部署pythorch-cifar100示例工程，以及如何替换使用您自己的模型，并了解到推理接口的相关信息。

预留了一个可用于烧录与输出应用信息的串口，当检测到人脸之后，它就会不停的输出检测到的信息，除了有没有人脸，还有人脸在画面中的、xy坐标、大小三个方向的偏转角信息等等，这样就可以把相机当做一个传感器模块和其他硬件模块搭配，做一些更好玩的应用。，PCBA正中间有一颗聆思 CSK6011A 型号的芯片作为主控，左侧是用于存储固件的 Flash，剩下的则是用于交互的按键与晶振、阻容、LED等器件。坐姿检测、头肩跟踪、手势识别、物体分类等AI能力SDK，需要哪个烧录哪个，详情可以参考SDK目录下的README文件。

gpio_led 目录下的CMakeLists.txt，把开发板的板型名 csk6_duomotai_devkit 填入下图所示位置。本文介绍怎么通过聆思CSK6大模型开发板的GPIO控制RGB灯亮灭，演示视频来自开发者分享，详细过程请见文末视频。至此用聆思CSK6大模型开发板控制RGB灯完成，接下来会更新怎么用星火大模型语音控制CSK6开发板上的灯。修改模板代码调用的函数，在下图对应位置把 &led 改为红灯的函数 &rgb_r。然后会在命令行当前目录下生成 gpio_led的目录，把这个目录复制到。

用stable diffusion 在聆思CSK6大模型开发板上自己lora图片。

在这个智能电子积木平台上，通过串口，连接到积木块探测模块，获取当前连接的积木功能块编号，然后将该编号发送到云端，云端根据当前对应的功能设置，调用积木块编号对应的处理逻辑，处理完毕后，返回结果到智能电子积木平台，进行语音播放或者功能执行。简单几步即可轻松打造自己的专属大模型！在这个智能电子积木平台上，通过串口，连接到积木块探测模块，获取当前连接的积木功能块编号，然后将该编号发送到云端，云端根据当前对应的功能设置，调用积木块编号对应的处理逻辑，处理完毕后，返回结果到智能电子积木平台，进行语音播放或者功能执行。

CSK6视觉语音AI开发套件支持10+种AI算法，如星火大语言模型语音交互、坐姿识别、人脸识别、活体检测等，也支持自主模型训练与部署，提供zephyr3.4的开源SDK

本文是对上一篇图像分类示例做的一个拓展，在上一篇文章中，我们实验是将图片从电脑上用Python脚本把它提取一个特征，然后把特征给打包到固件里面，最后再来做这个推理结果。在本文的示例中，我们会从视觉开发套件的摄像头采集一个图像，然后把这一步提取特征的操作在CSK6芯片上来进行，然后把这个特征文件送给这个模型进行推理，最后来得出一个实时的推理结果。

一文了解Zephyr系统对无线网络的支持情况，和Zephyr的无线协议栈接入WIFI与蓝牙芯片的几种实现方法

在《LNN工具链详解：在CSK6上运行你自己的AI算法》中通过LNN工具链获得了自己的算法模型，并在PC上使用test_thinker进行推理运行，本篇承接介绍如何在CSK6芯片上运行输出的算法模型。

了解芯片特性是做好嵌入式产品开发的基础，大家可以在使用CSK6开发板进行实践时可以结合此篇评估芯片是否可以支持需求。

通过实操聆思科技CSK6系智能主控芯片来讲解语音交互最小智能硬件系统电路设计怎么实现。

Zephyr官方虽然已提供了给开发者去构建应用工程的工具，但为了让开发者获得一个顺畅高效的开发体验环境 ，聆思根据CSK6的芯片方案量身打造了开发工具。本文主要给大家介绍一下这套配套工具。

介绍聆思科技推出的新一代AI芯片CSK6，包括参数概要描述以及不同型号之间的差异对比。