- 博客(14)
- 收藏
- 关注
RSS订阅原创 DeepSeek-R1(Distill)华为Ascend 910A部署指南
DeepSeek-R1(Distill)华为Ascend 910A部署指南
2025-12-02 00:42:22
401
原创 LLM端侧推理数据集
摘要：本文介绍了多个用于评估边缘设备LLM性能及能效的基准数据集与工具，包括认知推理数据集（如CommonsenseQA、TruthfulQA）、数学代码任务（GSM8K、HumanEval）以及专业能效评测框架（MLPerf系列、PalmBench）。这些资源覆盖常识问答、真实性验证、复杂推理等能力测试，同时提供量化能耗（如每token能耗）、延迟等关键指标，特别适用于移动端和低功耗场景的LLM优化。相关数据集和工具可通过GitHub、arXiv等平台获取，为边缘AI部署提供标准化评估方法。
2025-09-23 20:22:07
617
原创 小智AI接入音乐API实现网络音频流播放
摘要：本文介绍了基于ESP32S3平台实现网络音乐播放的解决方案。通过扩展小智AI的开源代码，增加了音乐API接口调用功能，使用ESP-ADF的M4A解码器实现网络音频流处理。系统采用生产者-消费者模式进行音频PCM数据转换，并对不同采样率的音频进行重采样处理（包含立体声转单声道和三点平滑处理），最终输出到I2S接口播放。该方案实现了以最小改动扩展原有系统功能，支持播放用户自定义搜索的网络音乐。
2025-09-08 22:00:07
2705
原创 使用vLLM进行卸载推理并测试延迟
【摘要】本文介绍了如何在通过vLLM的卸载机制部署DeepSeek-V2-Lite模型（需31GB显存）。具体步骤包括：1）安装vLLM并设置卸载参数（--cpu-offload-gb 20）；2）部署模型时限制最大序列长度（--max-model-len 512）以避免内存溢出；3）通过8000端口提供推理服务。同时提供了一个客户端脚本，可实时观察token生成过程，并支持自定义prompt输入。
2025-08-24 12:31:33
372
原创 粒子群优化(PSO)算法训练mnist数据集
训练神经网络常用梯度下降和反向传播，带动量项的自适应学习率梯度的Adam算法常是训练的优化器。启发式算法能否在神经网络中实现训练？这里在MNIST手写数据集尝试粒子群优化（PSO）算法。
2025-04-24 18:18:07
254
原创 一维搜索：精确搜索和非精确搜索方法
黄金分割法、斐波那契亚数列法、二分法和Shubert-Piyavskii方法是一元函数求极小的线性精确搜索，而不精确一维搜索中的Goldstein 方法，Armijo 法，Wolfe-Powell 以及WP改进规则方法也可近似计算，这8种方法均为一维搜索。
2025-04-03 18:22:02
1185
原创 AlphaFold3移植到CPU进行推理时出现NaN数值的问题
AlphaFold3移植到CPU进行推理时，提取结构的时候出现x栏有NaN的数值。经逐步调研发现开平方存在负数情况，因此需要对该部分代码进行修改。
2025-02-11 23:49:42
240
原创 Docker构建容器时如何使用宿主机网络
使用docker构建容器时，有时需要从github下载相应的内容，容易遇到网络问题导致构建失败。这里提供了一种解决思路
2025-01-22 18:56:23
296
原创 linux0.11内核编译文件过大问题
所以在Makefile中的43行的objcopy处，加上 -R.note.gnu.property,原来写的是-R .note.所以应该把Makefile中的43行-R .note换成-R .note.gnu.property。原因是编译时Kernel的源文件“system.tmp”文件写入了大量的空白段，可能原名是.note,但readelf system.tem中显示的段是.note.gnu.property。注意：以下内容均在64位archlinux上操作，其它系统类似。
2023-11-01 19:18:53
314
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人