【聆思CSK6语音大模型AI开发套件试用】人脸识别fd示例阅读笔记

最新推荐文章于 2025-12-01 19:45:15 发布
原创 最新推荐文章于 2025-12-01 19:45:15 发布 · 529 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #笔记

本文介绍了CSK6芯片如何支持在智能电梯项目中集成人脸识别算法，涉及整体架构流程、LVGL图形界面、关键模块如comp_fd的特征捕获和比对，以及程序的简化结构，重点在于UI整合。

文章目录

概要

整体架构流程

主要模块

技术细节

小结

概要

CSK6 芯片支持运行 人脸识别 算法。按照计划，我们的智能电梯项目将把人脸识别和大模型技术结合在一起。

整体架构流程

fd示例的说明文档参见：人脸识别快速上手 | 聆思文档中心。

fd示例的图形界面是基于LVGL的。

主要模块

  • display: 主要负责LVGL的初始化和设置
  • screen：屏幕上几个对象的设置和更新
  • indicator：用于人脸特征和比对结果演示
  • comp_fd:人脸处理的核心

技术细节

  • comp_fd_compare：人脸特征比对
  • comp_fd_capture：人脸特征采集
  • 基础服务在gcs_fd_service.h中定义

小结

程序的结构比较简单，主要的工作应该使UI的整合。

聆思CSK6大模型开发板上手参考
分享AI芯片开发经验
09-24 1803
前面发了很多在大模型语音交互+智能硬件相关的技术文章，这篇给大家介绍一下大模型语音交互示例的硬件和上手概况。
【聆思CSK6 视觉AI开发套件试用】人脸识别功能测试
weixin_47569031的博客
02-15 722
本篇文章来自极术社区与聆思科技组织的CSK6 视觉AI开发套件活动，更多开发板试用活动请关注极术社区网站。作者：[ifconfig]
【聆思CSK6 视觉AI开发套件试用】利用文件系统实现人脸识别数据掉电保存，上电自动加载
weixin_47569031的博客
02-15 392
本篇文章来自极术社区与聆思科技组织的CSK6 视觉AI开发套件活动，更多开发板试用活动请关注极术社区网站。作者：[可乐跑枸杞]
【聆思CSK6语音大模型AI开发套件试用】LLM_control示例阅读笔记
研究兴趣：智能物联网、嵌入式系统、人工智能
02-10 655
开发套件出厂自带的综合示例，阅读和分析该代码是进一步开发的基础。如果想实现我们的智能电梯，一个是要修改云端的流程，一个是修改。下面是厂商提供的整体流程。
【聆思CSK6语音大模型AI开发套件试用】语音控制电梯功能的在线编排
研究兴趣：智能物联网、嵌入式系统、人工智能
02-20 1770
在中，我们介绍了聆思的大模型平台。本篇博文我们将介绍如何使用在线编排能力，实现语音控制电梯的功能。在我们设计的智能电梯应用中，用户可以通过语音控制电梯所到的楼层，比如说“到4层”，电梯就会自动运行到4层。而这之中语音识别、语音合成以及对用户的语言的理解都是在云平台上完成的。开发板只是做语音的采集、上传、接收云平台的处理结果，并播放语音和显示结果。
【聆思CSK6语音大模型AI开发套件试用】聆思大模型平台的使用
研究兴趣：智能物联网、嵌入式系统、人工智能
02-20 1293
在前面的几篇博文中，我们已经介绍了聆思CSK6的开发板的使用和示例，今天来介绍一下云端的聆思大模型平台。聆思CSK6开发板的硬件处理能力有限，所以有些复杂的人工智能工作是在云端完成的。聆思平台(LSPlatform)是专门为大模型进行全链路开发落地而设计的云平台。该平台可实现大模型的知识库问答，低代码应用编排，请求数据监测、提示词模板、AI应用的部署和分享等功能。开始使用 | 聆思文档中心 (listenai.com)。
【聆思CSK6语音大模型AI开发套件试用】语音控制电梯功能的设备端处理
研究兴趣：智能物联网、嵌入式系统、人工智能
03-14 1179
在中，我们介绍了聆思大模型平台的在线编排能力，利用其出色的低代码能力，我们可以在云平台上完成语音识别、语音合成以及对用户的语言的理解。开发板主要负责语音的采集、上传、接收云平台的处理结果。今天来介绍一下，如果需要LLM_control示例来实现对云平台返回的结果进行处理。
【聆思CSK6语音大模型AI开发套件试用】增加对语音控制电梯功能的显示
研究兴趣：智能物联网、嵌入式系统、人工智能
03-14 843
在上一篇博文中，我们介绍了在聆思CSK6语音大模型AI开发套件的开发板实现对云平台返回的结果进行处理，我们已经通过日志文件看到了数据的正确接收和解析。今天对程序的用户界面进行优化，这样可以通过屏幕看到电梯的显示。
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1199
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1827
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1067
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
Trb201013的博客
11-27 1424
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 804
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
LMM-Det：让大型多模态模型在目标检测中脱颖而出
AI浩
12-01 734
大型多模态模型因其在多模态理解、推理和上下文学习等方面的卓越能力，在人工智能研究和工业界引起了广泛的关注和兴趣。虽然 LMM 在图像描述、视觉问答和视觉定位等多模态任务上已展现出有前景的结果，但其目标检测能力与专业检测器相比仍存在显著差距。为弥补这一差距，我们摒弃了将重型检测器与 LMM 集成的传统方法，提出了 LMM-Det，这是一种简单而有效的方法，它利用大型多模态模型进行纯目标检测，而无需依赖专门的检测模块。
昇腾平台 vLLM 部署与性能优化实战：高吞吐推理落地指南
最新发布
二哈喇子！
12-01 2975
昇腾平台vLLM部署与性能优化实战摘要
卫星遥感落地林草监测：多源数据融合+AI算法
okk202586的博客
11-27 592
全面完善昌吉州林草资源网络感知体系，建立全州林草资源一体化综合管理平台，全面加强林草安全防火监测预警、有害生物防治信息化、林草资源监管能力，实现林草资源、安全防火、有害生物防控、林长制监督管理等。在不同区域、不同场景下的落地能力，案例可以充分说明，智慧林草并非单纯的技术堆砌，而是真正贴合林草业务流程、解决实际问题的“实战型”方案，太空守护林海正在变成可能~根据林草业务需要，建设林长制、资源监管、生态保护、生态修复、灾害防护、科技创新等六类业务系统，构建智慧林草综合监管业务系统体系，全面支撑林草业务。
【人工智能】【深度学习】 ② GAN核心算法介绍：生成器与判别器的博弈艺术
xiezhiyi007的专栏
11-27 1001
本文为【人工智能】【深度学习】系列第②篇，深入浅出讲解生成对抗网络（GAN）的核心原理。从“造假者 vs 警察”的大白话比喻出发，逐步推导极小极大博弈公式，详解生成器与判别器的对抗机制，并对比 CNN、RNN 的本质差异。附带完整 PyTorch 代码实现（逐行注释），涵盖 DCGAN 架构、训练流程与工程技巧，适合零基础读者入门生成式 AI。结尾预告下一期 Transformer 主题，延续系统化学习路线。
YOLOv8训练过程日志-深度解析
搏博的专栏
11-28 951
特别值得注意的是不同类别的性能差异：phone类别的召回率达到0.462，明显高于car类别的0.286，这可能源于两个类别在训练数据中的分布差异、目标特征的明显程度等因素。值得注意的是，损失函数的下降过程并非单调的，而是存在一定的波动，这是梯度下降优化的正常现象。值得注意的是，虽然训练提前停止，但模型已经学习到了有意义的特征表示，这为后续的微调或迁移学习奠定了基础。的训练中，这些指标虽然数值较低，但这在小型数据集和有限训练时间的条件下是正常的，重要的是观察这些指标在训练过程中的变化趋势。
Product Hunt 每日热榜 | 2025-11-28
LaughingZhu的博客
11-28 512
Product Hunt 每日热榜 | 2025-11-28 Links 2.0 是一款全新设计的应用程序，旨在帮助你在各个设备之间保存、整理和查找链接。这款为 iOS 26 打造的应用引入了新的导航栏，全新的首页展示最近链接，增强的过滤功能，个性化的主题色，以及全新的设置界面和应用图标。它默认保护隐私，支持 iCloud 同步，使用起来无需注册账户或担心被追踪。
聆思csk6的语音模块
08-06
聆思CSK6语音模块是一款专为语音交互场景设计的高性能开发模块，支持自然语言处理、语音识别与合成、意图识别等功能。它能够广泛应用于智能家居、工业控制、语音助手等场景，提供端到端的语音交互解决方案。 ### 功能特性 - **语音识别（ASR）**：支持高质量的语音转文字功能，能够准确识别用户的语音输入。 - **语音合成（TTS）**：将文本信息转换为自然流畅的语音输出，用于语音播报或交互反馈。 - **自然语言理解（NLU）**：能够理解用户的自然语言指令，提取意图和关键信息。 - **意图模板匹配**：根据解析结果构建意图模板，实现对特定指令的精准识别与响应。 - **端侧处理能力**：具备本地化处理能力，可在设备端完成部分语音识别与控制任务，降低云端依赖。 - **支持联网搜索与第三方模型接入**：通过聆思大模型平台（LSPlatform），可对接第三方大模型（如DeepSeek）进行更复杂的语言处理任务[^2]。 ### 使用说明 1. **硬件连接**：将CSK6模块接入开发板或目标设备，确保电源、音频输入输出、通信接口（如UART、I2C等）连接正常。 2. **开发环境搭建**：安装配套的开发工具链，包括SDK、调试工具和示例代码。 3. **语音识别配置**：通过配置语音识别引擎参数，设定唤醒词、识别语言模型等。 4. **意图识别与执行**：定义意图模板并加载至系统，当用户语音指令匹配模板时，触发相应的控制动作，如开关灯、调节音量等[^1]。 5. **联网功能启用**：如需接入云端大模型服务，需配置网络连接并设置相应的API密钥或访问令牌[^2]。 ### 开发支持 - **SDK与API**：提供丰富的软件开发工具包，支持C/C++、Python等编程语言，便于快速集成语音功能。 - **示例工程**：配套提供多个典型应用场景的示例代码，如语音控制灯、联网搜索、RAG知识库接入等[^3]。 - **文档与社区支持**：包括详细的用户手册、开发指南、FAQ文档以及活跃的开发者社区。 - **平台集成能力**：可通过聆思大模型平台进行应用策略编排，灵活切换本地处理与云端处理模式，支持多模型接入与协同工作[^2]。 ### 代码示例（语音控制灯） 以下是一个简单的Python代码片段，用于演示如何通过聆思CSK6模块实现语音控制灯的开关： ```python import serial import time # 初始化串口连接 ser = serial.Serial('/dev/ttyUSB0', 115200, timeout=1) def send_command(cmd): ser.write((cmd + '\n').encode()) time.sleep(0.1) response = ser.readline().decode().strip() return response def handle_intent(intent): if intent == "turn_on_light": print("正在打开灯光") send_command("LIGHT_ON") elif intent == "turn_off_light": print("正在关闭灯光") send_command("LIGHT_OFF") else: print("未识别的指令") # 模拟意图识别结果 intent_result = "turn_on_light" handle_intent(intent_result) ``` ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

神一样的老师

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值