QCS8550运行ModelFarm上的DeepSeek-R1-Distill-Qwen-7B模型

原创 已于 2025-10-13 18:03:56 修改 · 224 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能 #端侧AI

于 2025-10-13 18:03:02 首次发布

1.点击链接https://aiot.aidlux.com/zh/models打开模型广场，找到对应的模型
请添加图片描述

2.下载对应模型，将文件包push到板卡上
请添加图片描述

可直接拖拽到aidlux的文件浏览器或者通过adb push的方式上传
请添加图片描述

3.生成式模型需找到开发指南下的AidGen推理框架进行使用AidGen | APLUX Doc Center
请添加图片描述

4.根据操作解压模型资源

cp -r /usr/local/share/aidgen/examples/genie ./
cd genie/data #此路径下进行解压

最低0.47元/天 解锁文章
QCS-01催化剂在德士古气化耐硫变换中的应用
06-01
QCS-01催化剂在德士古气化耐硫变换工艺中的应用主要涉及以下几个知识点： 1. QCS-01催化剂的基本概念和应用背景： QCS-01催化剂是一种具有宽温耐硫特点的钴钼系列变换催化剂，主要用于促进含硫气体的变换反应。在...
行业文档-设计装置-用于调节定量横向分布的造纸机上的设备.zip
08-24
5. 质量控制系统（Quality Control System, QCS）：QCS是现代造纸机的关键组成部分，它通过传感器实时监测纸张的重量分布，并通过反馈机制调整造纸机的工作参数。这包括在线的X射线密度测量、红外线水分检测等，以...
DeepSeek-R1-Distill-Qwen-1.5B移动端SDK：iOS/Android集成指南
gitblog_01170的博客
09-16 384
你是否还在为移动端部署大语言模型而烦恼？模型体积过大导致安装包臃肿、推理速度慢影响用户体验、数学推理精度不足难以满足专业场景需求？本文将为你提供一站式解决方案，详细介绍如何将DeepSeek-R1-Distill-Qwen-1.5B模型集成到iOS和Android应用中，让你的移动应用具备强大的数学推理和代码生成能力。 读完本文，你将能够： - 了解DeepSeek-R1-Distill-Qwe...
高通QCS8550开发板 + DeepSeek-R1：打造智能化商场导购实践
AI暴风龙
06-27 1112
本文介绍了基于高通QCS8550开发板和DeepSeek-R1-Distill-Llama-8B模型的商场智能导购解决方案。QCS8550采用4纳米工艺，具备强大AI算力（48TOPS）和8K视频处理能力，为导购系统提供硬件支持。通过AidLux平台搭建Dify开发环境，部署轻量化的DeepSeek-R1语言模型（8B参数），实现了商场店铺信息的智能查询功能。该系统可在本机通过API调用，准确检索商场店铺数据并快速响应，展示了边缘计算在零售场景中的应用潜力。测试结果表明，方案在保持精度的同时提升了响应速度，
原生态方式部署及运行deepseek-7b-chat
m0_61664470的博客
03-05 966
先投放一波引流，公众号太久没更新了，以后保持更新，至少一周一更新。注意这个是旧版本，并不是流行的R1版本。最近网上很多私有化部署deepseek的文章，但都是使用工具，对想理解怎么原生态部署、运行的朋友不是很友好，现在开始解析下怎么使用命令行部署deepseek，后续文章会持续更新。对于私有化部署deepseek，有几个步骤：安装CUDA、安装python相关包、下载模型、运行模型。其中，如果不能安装CUDA就不要搞下去了，基本运行不起来。
高通QCS8550部署YOLO11-seg模型与性能测试
AI暴风龙
07-08 1365
本文聚焦高通 QCS8550 处理器部署 YOLO11-seg 模型的研究与测试。QCS8550 作为物联网旗舰处理器，以 4 纳米工艺实现 48TOPS 边缘 AI 性能，搭载先进 CPU、GPU 及连接技术，适配高要求 IoT 场景；YOLO11-seg 专注实例分割，在安防、工业检测等领域作用关键。研究旨在探索二者结合的高效运行方式，为相关应用落地及边缘 AI 发展提供技术支撑与实践参考。
高通QCS8550开发板 + DeepSeek-R1：本地构建 AI 驱动的商品知识库与智能售前助手实践
AI暴风龙
06-26 1189
本文介绍了基于高通QCS8550开发板和AidLux平台构建智能售前助手的全流程方案。通过知识蒸馏技术将DeepSeek-R1大模型压缩为8B参数的Llama架构模型，结合AidLux平台的AI加速能力，实现了边缘设备上的高效部署。具体步骤包括：1）环境准备与Dify平台配置；2）模型下载与API服务启动；3）模型集成与知识库构建。测试结果表明，该系统能准确回答商品价格、口味等咨询，并实现自动计价功能。该方案显著提升了客服响应速度，在边缘计算场景下保持低延迟和低功耗优势。
高通QCS8550部署YOLO11-obb分类模型与性能测试
AI暴风龙
07-08 1141
本文研究了在高通QCS8550处理器上部署YOLO11-obb定向目标分类模型的性能表现。QCS8550采用4nm工艺，提供48TOPS的AI算力，CPU性能提升1.5倍，GPU性能提升3倍。测试显示，YOLO11系列模型在NPU上运行效率显著提升，其中YOLO11n-obb在INT8量化下达到564.97FPS。研究详细介绍了从pt模型到onnx转换，再到AIMO平台优化为NPU可执行格式的全流程，并提供了不同模型尺寸的性能对比数据，为边缘智能设备的高效目标检测提供了实践参考。
高通QCS8550部署YOLO11-pose模型与性能测试
AI暴风龙
07-04 1144
高通QCS8550平台成功部署YOLO11-pose模型 摘要：本文详细介绍了在高通QCS8550硬件平台上部署YOLO11-pose姿态估计模型的全过程。QCS8550采用4nm工艺，配备八核CPU和48TOPS AI算力，为模型部署提供强大硬件支持。通过AIMO平台将ONNX模型转换为高通NPU专用格式，实现了INT8量化优化。测试显示，YOLO11n-pose模型在QCS8550上推理速度达497.51FPS（INT8精度），性能显著提升。文章还提供了完整的代码实现，包括模型转换、推理流程及可视化方法
高通QCS8550部署YOLO-NAS模型与性能测试
AI暴风龙
07-03 1187
高通QCS8550平台部署YOLO-NAS边缘目标检测方案测试表明：通过AIMO工具链将YOLO-NAS模型转换为NPU专用格式后，在QCS8550的QNN2.31 NPU上实现高效推理。YOLO-NAS-s模型在INT8量化下达到305.81FPS，较CPU提升182倍，延迟仅3.27ms；YOLO-NAS-l模型也实现180.51FPS，验证了该方案在边缘设备上的实时性优势。完整技术路径包含模型格式转换（PT→ONNX→NPU）、量化优化及版本匹配等关键环节，为边缘AI应用提供了高吞吐、低延迟的部署。
高通跃龙QCS8550开发板+DeepSeek-R1：本地构建 AI 驱动的商品知识库与智能售前助手实践
csdnsqst0046的博客
10-22 749
在智能商业时代，高效精准的售前服务已成为企业提升竞争力的关键一环。传统客服模式在面对海量商品信息和多样化客户咨询时，往往因算力瓶颈导致响应延迟，而搭载高通跃龙 QCS8550 开发板的系统可将这一指标降低。这款采用 4nm 制程工艺的边缘计算平台，以八核 Kryo CPU 架构（1×3.2GHz 超大核 + 4×2.8GHz 性能核 + 3×2.0GHz 效率核）构建起异构计算体系，配合集成的 Hexagon 张量处理器实现 48TOPS INT8 算力，相较上一代产品在持续 AI 推理中能效提升 60%
行业资料-交通装置-QCS系统小车的上下头错位的实时检测和自动校正方法.zip
08-29
行业资料-交通装置-QCS系统小车的上下头错位的实时检测和自动校正方法.zip
GPU加速VS CPU运行？DeepSeek-OCR硬件选型的4项性能对比数据曝光
你有没有想过，为什么同样是运行一个OCR程序——比如把一张扫描件转成可编辑文本——在你的笔记本上可能要等两秒，在服务器上却几乎是“秒出”？更奇怪的是，有时候反而是那台没有独立显卡的老款办公电脑更快。这...
大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12
minhuan的专栏
12-03 1285
本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。
【论文速递】2025年第34周(Aug-17-23)(Robotics/Embodied AI/LLM)
最新发布
淋曦的进击手记
12-07 794
自我监督的学习有望消除对手动数据注释的需求，从而使模型能够毫不费力地扩展到大规模的数据集和较大的体系结构。通过不针对特定的任务或领域量身定制，这种训练范式有可能使用单个算法从不同的来源学习视觉表示形式，从自然到航空图像。该技术报告介绍了Dinov3，这是通过利用简单而有效的策略来实现这一愿景的主要里程碑。首先，我们利用仔细的数据准备，设计和优化来扩展数据集和模型大小的好处。其次，我们介绍了一种称为GRAM锚定的新方法，该方法有效地解决了长期训练时间表中已知但未解决的密集特征映射降解的问题。
人工智能的基石之三：硬件
最简单的方法，解决最实际的问题。
12-05 652
高性能硬件是人工智能的基石，尤其是在机器学习和深度学习领域，海量数据是常态。从充当计算机大脑的中央处理器 (CPU) 到加速计算的图形处理器 (GPU)，硬件的作用是提供处理和运行复杂数据算法所需的原始能力。
AI泡沫什么时候破？
脑极体
12-04 659
而AI企业面对的短期形势，可能更为严峻。而AI公司和技术服务商，为了迎合决策者或拿下B端大项目，往往不计成本的低价竞标，无视人工成本的驻场开发，技术价值让位于领导偏好，企业自身也深陷人效黑洞，沦为挣辛苦钱的技术外包。To B/G不赚钱，To C也卖不上价，所以目前AI领域唯一清晰的商业模式，就是类似英伟达的“卖铲人”模式，卖加速卡和算力的企业成了这一轮AI浪潮的最大受益人。去伪存真之后，资本会冷却，叙事会修正，共识会重新凝聚，而那些持续追问“AI如何创造真实价值”的人，会与行业一同穿越周期，走向成熟。
【AI是否能替代IT从业者？】
博文致力于人工智能算法的探索研究；前后端分离项目的技术分享交流；专升本计算机基础课程内容讲解；各种中间件技术分享
12-03 1145
2025年IT行业面临AI深度重构：基础开发、测试、运维岗位替代率超60%，但AI相关新兴岗位激增380%。人类在复杂系统设计、伦理决策和跨界融合领域仍具不可替代性。微软等企业实践显示，人机协作可使效率提升40%。从业者需转型高价值领域（如Agent开发、大模型工程），掌握"技术+领域"双轨能力。AI本质是职业生态重构器，持续学习者的薪资溢价可达150%。建议立即评估岗位AI暴露指数，优先学习分布式架构优化、多智能体开发等技能。
AI驱动的网联自动驾驶汽车网络安全测试方法
NewCarRen的博客
12-03 1032
本文综述了网联自动驾驶汽车(CAV)网络安全测试面临的挑战与解决方案。随着CAV普及，网络攻击风险加剧，现有渗透测试方法面临测试环境成本高、专业人才匮乏等挑战。研究表明，人工智能(AI)在传统行业渗透测试中展现出缩短时间、提高效率的优势，但在CAV领域应用仍存在明显缺口。文章重点分析了强化学习等AI算法在渗透测试中的应用潜力，指出创建仿真环境是测试AI模型有效性的可行方案。开源工具VEINS被推荐为合适的仿真平台，其Python/C++接口便于AI模型集成。研究认为，若证实AI方法有效，可扩展应用于完整CA
qcs6490的4k->8K的SWRemosaic
08-21
QCS6490 平台在图像处理领域展现了强大的性能，尤其是在高分辨率视频处理方面。虽然 QCS6490 的硬件规格和现有应用案例中并未直接提及 SWRemosaic（软件重马赛克）功能，但结合其硬件能力与开发环境，可以推断出实现从 4K 到 8K 分辨率的 SWRemosaic 是可行的。以下是一个基于现有信息和开发实践的实现指南。 ### 1. 硬件与软件环境准备 QCS6490 搭载了强大的 Qualcomm® Spectra™ ISP，支持高分辨率图像传感器输入，最高可处理 4K 视频流[^1]。虽然原生硬件支持的分辨率限制在 4K，但通过软件优化与多线程处理机制，可以实现 8K 分辨率的 SWRemosaic 处理。 - **硬件要求**： - QCS6490 开发板 - 支持 8K 分辨率的图像传感器或视频源 - 高带宽内存模块以支持大分辨率图像处理 - **软件要求**： - Qualcomm AI Engine Direct SDK（用于加速 AI 推理任务）[^2] - Qualcomm Vision Enhancement SDK（用于图像增强与处理） - Linux 操作系统（推荐 Ubuntu 20.04 或更高版本） ### 2. 图像处理流程设计 SWRemosaic 的核心在于将原始图像数据（RAW）转换为 RGB 图像，并进行色彩插值。QCS6490 的 ISP 虽然支持硬件级的 RDI（Raw Data Interface）和初步的图像处理，但要实现 8K 分辨率的 SWRemosaic，需依赖软件层面的优化。 - **图像采集**： 使用 V4L2（Video4Linux2）接口从图像传感器中获取 RAW 格式图像数据。 - **RAW 到 RGB 转换**： 通过软件算法（如双线性插值、Edge Sensing 等）将 RAW 数据转换为 RGB 图像。可以借助 OpenCV 或 Qualcomm Vision Enhancement SDK 提供的图像处理库加速此过程。 - **色彩校正与增强**： 应用白平衡调整、伽马校正和色彩空间转换（如 RGB 到 YUV）等步骤，提升图像质量。 - **多线程优化**： 利用 QCS6490 的多核 CPU 架构（Kryo™ CPU）和 Hexagon™ DSP 进行并行处理，将图像分块处理以提高效率。 ### 3. 性能优化策略 由于 8K 分辨率图像数据量庞大，需采用以下优化策略以确保实时性： - **内存带宽优化**： 使用 DMA（Direct Memory Access）机制减少 CPU 负载，提高图像数据传输效率。 - **GPU 加速**： 利用 Adreno GPU 对图像进行色彩空间转换和滤波操作，减轻 CPU 压力。 - **AI 辅助处理**： 若需进行图像增强或去噪，可结合 Qualcomm AI Engine Direct SDK 调用 AI 模型进行推理处理[^2]。 ### 4. 示例代码片段 以下是一个简化的图像处理流程代码示例，展示如何使用 OpenCV 进行 RAW 到 RGB 转换： ```cpp #include <opencv2/opencv.hpp> #include <fstream> void rawToRgb(const std::string& rawFilePath, int width, int height) { std::ifstream file(rawFilePath, std::ios::binary); std::vector<uint8_t> buffer(width * height); file.read(reinterpret_cast<char*>(buffer.data()), buffer.size()); cv::Mat rawImage(height, width, CV_8U, buffer.data()); cv::Mat rgbImage; cv::cvtColor(rawImage, rgbImage, cv::COLOR_BayerBG2BGR); cv::imwrite("output_rgb.png", rgbImage); } int main() { rawToRgb("input.raw", 7680, 4320); // 8K 分辨率 return 0; } ``` ### 5. 调试与部署 - 使用 GDB 和 Perf 工具对图像处理流程进行性能分析，识别瓶颈。 - 部署至 QCS6490 开发板后，使用命令行工具如 `v4l2-ctl` 和 `ffmpeg` 进行视频流拉取与显示测试[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值