- 博客(20)
- 收藏
- 关注
RSS订阅原创 模型嵌入式部署
本质上，QAT是一个模拟量化的过程，与硬件上的全整型计算依然是不同的，但QAT可以通过训练来把模型的数值范围调整至对量化友好的范围(如既存在截断误差又存在精度表达不足的情况下，只能通过训练来调整)，所以对于量化而言，QAT是最有效的方法。二是取整误差，即进行线性映射时，映射到两个整数之间的数值进行取整带来的误差。在嵌入式平台，基于成本考虑，多数平台支持的是8 bit运算，即INT8/UINT8，而PC端训练的模型一般是float32的，因此就存在模型量化这一步骤，完成模型从32位运算8位运算的转换。
2025-04-07 20:04:38
1050
原创 问答任务的评估方法
由于生成模型的自由度，客观指标往往只能反映表面的匹配，可能无法捕捉语义连贯性、常识合理性和细粒度准确性。当前的大模型技术主要是生成模型，与判别模型不同，生成模型由于其存在较高的自由度，特别是对于问答任务，指标评估相对不是那么直观。以上介绍的客观指标是针对对话生成的评估方法，但在大模型的研究测试中，一般会选用更加严格没有歧义的客观指标，相当于把主观题转成客观题，这里总结介绍一部分，可以作为参考。上述句子中，类似于go to这样的表达是比较常见的，而garden则不会经常出现，需要重点关注。
2025-03-31 18:41:46
949
原创 大模型的微调技术（指令微调理论篇）
本文列出的是指令微调中比较经典的方法/例子，其中包含有另一些如CoT/强化学习等知识点，将在以后的文章中再研究。Flan-T5 是首次系统化研究指令微调的文章，基于T5模型，通过大规模多任务训练和指令模板优化，显著提升模型在零样本、少样本和推理任务中的表现。：用排序数据训练奖励模型（基于SFT后的模型），输出回答的分数差异（如回答2得分>回答1）。：基于GPT-3架构，用交叉熵损失函数微调模型，使其生成符合示例的回答。：用高质量指令-回答对微调预训练模型，初步对齐人类意图。零样本模板：直接给出任务描述。
2025-03-24 19:05:23
714
原创 大模型的微调技术（高效微调原理篇）
公司有需求做农业方向的大模型应用以及Agent助手，那么适配农业数据就非常重要。但众所周知，大模型的全量微调对算力资源要求巨大，在现实的限制条件下基本“玩不起”，那么高效微调技术就非常必要。为了更好地对微调技术选型和应用，本文整理了常用参数高效微调的方法原理。
2025-03-21 21:49:12
895
原创 如何使用Porcupine做一个安卓端语音唤醒demo
Porcupine 是一个高精度、轻量级的唤醒词引擎，能够构建始终在线的语音启用应用程序。使用在真实环境中训练的深度神经网络。紧凑且计算高效，适用于物联网（IoT）。跨平台支持：Arm Cortex-M、STM32、Arduino 和 i.MX RTAndroid 和 iOSChrome、Safari、Firefox 和 EdgeLinux（x86_64）、macOS（x86_64、arm64）和 Windows（x86_64）
2024-12-29 00:03:56
820
原创 Learning with noisy labels总结
Learning with noisy labels总结Deep Label Distribution Learning With Label AmbiguityJoint Optimization Framework for Learning with Noisy Labels欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入...
2019-04-26 15:18:55
15689
24
原创 模型压缩与加速的知识结构图与重要论文
从一个比较大的层面看一下模型压缩与加速的知识结构图，梳理一下模型压缩与加速的知识结构。总的来说，模型压缩与加速分为四大部分，分别是剪枝、量化、低秩和蒸馏。剪枝剪枝的目标是减少神经网络中的权重数/特征数，去除相对不重要的权值，减小网络大小同时可以加速运算。剪枝总体而言分为结构化剪枝和非结构化剪枝，结构化剪枝以整个channel/filter为单位裁剪，在实现时即可做到缩小网络结构的目的；非结...
2019-01-17 19:02:39
718
原创 计算机视觉及深度学习岗位应聘问题汇总
本文旨在收集在面试过程中问到的，以及从网上收集到的有价值的问题，目的是为了从问题出发主动整合知识，在校招有限的时间内抓住重点，避免漫无目的地看书复习。K-means的算法流程？与KNN的区别？K-means的基本算法流程： 1. 初始化k个聚类中心c1,c2,...,ckc1,c2,...,ckc_1,c_2,...,c_k 2. 对于每个样本xixix_i和每个聚类中心cjcjc_j...
2018-08-20 11:17:01
5303
1
原创 Tensorflow 内存泄露问题
使用tensorflow进行编程时，经常遇到操作不当，带来的内存泄露问题，这里有一个可以帮助debug问题所在方法： https://stackoverflow.com/documentation/tensorflow/3883/how-to-debug-a-memory-leak-in-tensorflow/13426/use-graph-finalize-to-catch-nodes-bein
2017-09-15 22:52:05
11379
1
原创 ROS学习笔记（三）- 分布式节点与laser数据可视化
后面的ROS学习基本上基于机器人的实际环境开发，记录一下面对的问题以及对应的解决方法。这个周末主要实现了激光数据的获取，也是为后面的建图和导航做一个前提准备。
2017-04-09 22:22:39
1113
原创 神经网络
神经网络（Neural Network）是机器学习中一类实用的算法，来源于与人脑的类比，但是它并不新，最早出现在20世纪80年代，至今在许多领域得到广泛使用。
2017-04-05 22:27:26
471
原创 逻辑回归与过拟合问题
逻辑回归（Logistic Regression）分类问题（classification）是机器学习要解决的另一大类问题，这里用到的方法是逻辑回归（logistic regression），也是目前机器学习领域应用最广泛的方法。
2017-03-26 17:32:28
8742
原创 ROS学习笔记（二）- ROS驱动机器人实例
利用周末玩了一下先锋机器人（Pioneer3, P3AT），前后装了两次ROS，以及一大堆操作细节，打算整理记录一下方便以后解决问题用，同时通过实际操作，对上一篇学习笔记罗列出来的指令有了更深的理解，也把这里面的思考逻辑整理出来。
2017-03-18 15:29:17
6248
原创 线性回归的补充与变量归一化
紧接上一篇博客，多变量梯度下降法的表达式形式与单变量一致，只是变量的扩充以及每次迭代需要对每个变量进行操作（同样是所有变量一次性更新）。假设函数、代价函数和梯度下降的表达式分别如下：
2017-03-13 10:20:36
2754
原创 机器学习入门和批量梯度下降法
机器学习入门斯坦福大学Andrew Ng教授公开课： http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=MachineLearning 目前上面的视频收录尚不完整，但校内网登上流畅。coursera上的完整资源：
2017-03-07 10:15:23
1921
原创 透视摄像机模型
透视相机模型最常用的透视相机模型是假设一个针孔投射系统，图像由来自物体的光线穿过透镜中心（投影中心）的交叉形成，并存在一个焦平面。 记 X=[x,y,z]T X= [x, y, z]^T 为相机坐标系下一个实物点的物理坐标，p=[u,v]T p = [u,v]^T 为其投影图像的图像坐标（像素），C为相机的光心，即投影中心。 从3D世界到2D图像的映射由透视投影方程给出： λ⎡
2017-03-05 15:12:04
3081
原创 ROS学习笔记（一）
最近在入门学习ROS系统，基于Jade，总结一下基本的概念以及常用操作，主要参考 http://wiki.ros.org基本概念catkin：ROS的官方编译系统，继承自原生的ROS编译系统rosbuild。catkin workspace：用户可以对catkin程序包进行修改/编译/安装操作的一个文件夹，在软件开发流程中，catkin工作空间包括源码空间(src space)、编
2017-02-28 10:44:31
760
原创 #47-D: incompatible redefinition of macro "STM32F40_41xxx"
Keil STM32 调试中出现#47-D: incompatible redefinition of macro "STM32F40_41xxx"警告
2017-02-28 09:54:11
14423
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人