- 博客(60)
- 收藏
- 关注
RSS订阅原创 求助帖提问：什么情况下onnx转rknn模型无法量化成int8？toolkit2能成功，但toolkit会失败
环境：toolkit平台 1.7.3版本。
2025-03-19 09:36:42
859
原创 ViT、DETR 和 Swin Transformer ：基于 Transformer 的计算机视觉（CV）模型
图像输入 → 线性 Patch Embedding → Swin Transformer Block（窗口注意力） → 多尺度特征提取 → 适用于分类、检测、分割。
2025-03-18 17:36:22
759
原创 理解 MHA、GQA、MQA 和 MLA：多头注意力的变种及其应用
在深度学习、自然语言处理（NLP）和计算机视觉（CV）中，多头注意力（Multi-Head Attention, MHA）是 Transformer 结构的核心。近年来，MHA 产生了多个变体，如和，这些改进主要用于提高计算效率和减少计算开销。本文将深入探讨这些注意力机制的工作原理、数学公式、优缺点及应用场景，帮助理解Transformer 及其改进版本。
2025-02-25 15:10:09
1612
原创 深入解析 RLHF（Reinforcement Learning from Human Feedback）
随着人工智能（AI）技术的快速发展，大规模语言模型（如 OpenAI 的 GPT、Anthropic 的 Claude 等）已经能够生成高质量的文本。RLHF 是一种基于强化学习（Reinforcement Learning, RL）的优化方法，它结合人类反馈（Human Feedback）来训练奖励模型（Reward Model, RM），进而优化语言模型的生成策略。整个强化学习的目标是找到最优策略 π∗\pi^*π∗，使得模型在与环境交互的过程中，最大化累积奖励。RLHF 是一种结合强化学习（RL）
2025-02-24 11:31:43
869
原创 解决 CMake 编译时 “undefined reference“ 问题：RPATH 与 rpath-link
如果你的 CMake 编译时报。
2025-02-21 09:16:29
525
原创 C/C++ 格式化输出（ unsigned long long）
变量，正确的格式化符号是 %llu；在开发中，如果涉及到大整数计算，比如。（通常为 64 位无符号整数）。进行存储，并通过 %llu。在 C/C++ 编程中，
2025-02-17 17:38:10
558
原创 C++ 交叉编译 ARM 平台时报 “scalar out of range for multiply instruction“ 错误的原因及解决方案
在 RK3568/RK3588/RV1126 等 ARM 平台上进行 C++ 交叉编译时，我遇到了以下编译错误：但是，当我 添加以下编译选项 后，问题消失了：二、错误分析2.1 错误的本质从错误信息来看，报错的指令是： 是 ARM NEON 指令集中的 向量乘法累加（Vector Multiply-Accumulate Long） 指令，它的格式如下： ：目标 128-bit NEON 向量寄存器 ：16-bit 源寄存器 ：源寄存器 的某个索引（立即数 必须在 0
2025-02-17 09:37:15
834
原创 opencv图像处理之minAreaRect函数
是 OpenCV 中用于计算最小外接矩形（Minimum Area Rectangle）的函数，它适用于，可以返回一个，即面积最小的矩形，并且矩形的边可以是。pointscv::Mat是 OpenCV 里的[-90, 0]
2025-02-10 16:39:24
491
原创 DeepSeek-V3简述
除了闭源模型，开源模型（如 DeepSeek、LLaMA、Qwen、Mistral）也在不断进步。，这些架构已在 DeepSeek-V2 中得到充分验证。此外，DeepSeek-V3 首创了一种。为了实现高效推理和低成本训练，DeepSeek-V3 采用了。，并且在多个任务上达到与主流闭源模型（如 GPT-4o、Claude-3.5）尽管性能卓越，DeepSeek-V3 的完整训练仅需。近年来，大型语言模型（LLM）迅速发展，越来越接近。全面评估表明，DeepSeek-V3。DeepSeek-V3 在。
2025-02-05 09:39:40
914
原创 MB-TaylorFormer论文解读
Transformer 网络因全局感受野和adaptability to input逐渐取代 CNN，但 softmax-attention 的二次复杂度限制其在高分辨率图像去雾中的应用。为此，提出了一种名为的新型 Transformer 变体，通过泰勒展开近似 softmax-attention，实现线性复杂度，并结合多尺度注意力模块纠正误差。此外，引入多分支架构和多尺度补丁嵌入，以可变形卷积嵌入不同感受野和语义特征。在多个去雾基准上，MB-TaylorFormer 展现出领先性能和较低计算成本。
2025-01-10 15:44:05
707
原创 解决anaconda prompt找不到的情况
导致我重新开机以后安装的一些软件（暂时只发现wps）以及所有的登录信息、聊天文件临时文件全部被清空，环境变量也都被清理了。anaconda、虚拟机都还在，但是找不到anaconda prompt，于是进行了以下一系列恢复操作；由于打开某个文件夹导致系统卡死了，鼠标使用不了，只能使用快捷键ctrl+alt+delete打开，点任务管理器也没什么用，就点了注销选项。点击进去，之前的conda环境也都还在！输入python，查看是否有Python环境， ctrl+z ->enter退出python。
2025-01-08 15:06:42
1454
1
原创 【Ubuntu】 Ubuntu22.04搭建NFS服务
第三个字段：（ rw,sync,no_root_squash,no_subtree_check,insecure)： 权限。第一个字段：/home/lm/code/nfswork共享的目录。 192.168.0.* 指定网段，在该网段中的用户可以挂载。 192.168.0.99 只有该用户能挂载。第二个字段：指定哪些用户可以访问。cd到指定目录，执行相应的操作； * 表示所有用户都可以访问。配置/etc/exports。
2025-01-04 14:23:17
1178
原创 理解语义分割中的卷积-DUC&HDC
最早在某些研究中引入，通过用卷积层替换最后几层全连接层，实现高效的端到端学习和推断，且能够处理任意大小的输入。：用于捕捉图像中的局部和全局依赖关系，从而优化预测图并使其更精细。：用于提高中间特征图的分辨率，从而在保持相同计算成本的同时，生成更准确的预测结果。：在 PASCAL VOC2012 数据集上，用 101 层的 ResNet-101 模型替换原来的 16 层 VGG-16 模型后，平均交并比（mIoU）得分显著提高；使用 152 层的 ResNet-152 模型进一步提升了性能。
2024-12-25 11:22:36
1297
原创 特殊的“Undefined Reference xxx“编译错误
make编译c++程序时，一个头文件对应的一个库，编译过程中出现这个库中有未定义的函数，但是该库中所有函数均已经实现。此时可以检查一下头文件和库使用的语言是不是相同；当头文件是c语言实现，而库为c++实现时也会出现未定义的错误；：通知编译器，按照 C 的链接方式生成符号，而不是 C++ 的方式。此时需要关闭这些语句。
2024-12-24 17:05:59
306
原创 解读1：TwinLiteNet论文中基础模块及其他相关模块总结
ESP模块将标准卷积分解成point-wise卷积和空洞卷积金字塔(spatial pyramid of dilated convolutions)，point-wise卷积将输入映射到低维特征空间，空洞卷积金字塔使用K组n×n空洞卷积同时重采样低维特征，每个空洞卷积的dilation rate为2的（k−1）次方，k={1,⋯,K}。空洞卷积（Dilated Convolution）是一种改进的卷积操作，通过在标准卷积核之间插入空洞（即引入“膨胀率”）来扩大感受野，而不增加额外的参数或计算量。
2024-12-24 16:28:50
897
原创 rk3588实时查看NPU使用情况命令、Linux中使用nvidia-smi命令实时查看GPU使用情况
0.01 表示每隔0.01秒刷新一次GPU使用情况;0.01 表示每隔0.01秒刷新一次NPU使用情况;其次还有Linux中使用。
2024-12-23 09:54:06
823
原创 交叉编译opencv4.5.4出现与 libpng 相关的 NEON 优化函数未能找到
make[2]: *** [apps/interactive-calibration/CMakeFiles/opencv_interactive-calibration.dir/build.make:178：bin/opencv_interactive-calibration] 错误 1。make[2]: *** [apps/annotation/CMakeFiles/opencv_annotation.dir/build.make:98：bin/opencv_annotation] 错误 1。
2024-12-17 12:00:58
1017
原创 解决invalid conversion from ‘void*‘ to ‘unsigned char*‘问题
是一种特定类型的指针。因此，C++ 编译器会要求显式地进行类型转换（强制转换），否则会报错。这个错误是由于类型转换不匹配引起的。
2024-12-03 17:05:23
538
原创 解决链接时无法被用于生成共享目标问题
出现以下报错：该错误表明，静态库中的对象文件未使用-fPIC编译，导致在链接时无法被用于生成共享目标或位置无关代码。
2024-12-03 16:54:42
552
原创 Ubuntu 常用解压与压缩命令
tar是打包，.tar.gz才是压缩过的文件，.tar.gz常见于unix系统，在ubuntu或macos可以直接解压，而.zip常见于windows系统。tar -zcvf FileName.tar.gz DirName # 将DirName和其下所有文件（夹）压缩。tar -C DesDirName -zxvf FileName.tar.gz # 解压到目标路径。tar -zxvf FileName.tar.gz # 解压。.tar.gz文件、 .tgz文件。
2024-11-27 10:02:39
1250
原创 解决vm虚拟机中ctrl键粘滞问题（一直处于按下状态）
虚拟机中点击鼠标左键没有问题，单独按下键盘也没有问题，但是如果按下键盘的同时在按下鼠标左键就会卡住。而且100%稳定复现。发现问题原因：vm版本的问题，我的版本是17.5.0，升级成17.5.2 build-23775571问题解决；升级的时候不用卸载老版本，直接覆盖安装即可。
2024-11-21 17:18:16
671
原创 Ubuntu系统桌面太小、屏幕无法自适应问题解决
sudo apt-get install open-vm-toolssudo apt-get insall open-vm-tools-desktop
2024-11-21 10:55:38
423
原创 为什么在 torch.onnx.export 中不支持 (x, 3) 作为输入？
的输入，且输入只能是单独一个张量或包含多个张量的元组。是支持的，因为它包含的每个元素都是张量。这样的组合，因为包含了非张量（ONNX 导出只支持。
2024-11-08 16:29:45
262
原创 深度学习为什么不用二阶优化？
二阶优化在深度学习中不常用的原因归结于计算开销、数值稳定性、泛化能力、非凸问题的适用性等方面。一阶优化方法虽然简单，但更适合深度学习的大规模非凸问题，尤其是在面对数百万、甚至上亿参数的神经网络时，更加高效且具有良好的泛化能力。
2024-11-07 08:56:23
842
原创 影响神经网络速度的因素- FLOPs、MAC、并行度以及计算平台
影响神经网络速度的四个主要因素分别是 FLOPs（浮点操作数）、MAC（内存访问成本）、并行度以及计算平台。这些因素共同作用，直接影响到神经网络的计算速度和资源需求。
2024-11-05 16:28:58
1250
原创 解决OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
这个错误是由 OpenMP 运行时库被多次初始化引起的，通常是在多个库（如 PyTorch 和其他依赖项）都链接了不同的 OpenMP 版本时出现的。删掉指定环境下的libiomp5md.dll文件，正常了错误表明对象没有getsize属性。这个问题通常是由于Pillow库的版本不兼容导致的，因为在新版的Pillow库中，getsize方法已经被弃用，改为了getbbox方法。
2024-11-05 15:04:16
440
原创 解决ImportError: DLL load failed while importing _message: 找不到指定的程序。
创建好conda环境，写好代码以后，代码未出现标红错误，但运行时报错ImportError: DLL loadfailed while importing _message: 找不到指定的程序；的报错，就是写的时候不报错，运行的时候才报错；下，在中写import XXX会标红。
2024-11-05 14:25:41
1758
原创 人脸检测之MTCNN算法网络结构
MTCNN（Multi-task Cascaded Convolutional Networks）是一种用于人脸检测和关键点检测的深度学习模型，特别适合在复杂背景下识别出多尺度的人脸。它通过多任务学习来实现人脸检测和人脸关键点定位（如眼睛、鼻子、嘴巴的位置），实现高精度的人脸区域定位和关键点提取。MTCNN 主要由三个级联网络组成：P-Net、R-Net 和 O-Net。
2024-11-05 09:38:38
2426
原创 深度学习基础知识-全连接层
全连接（Fully Connected，简称 FC）层是深度学习神经网络中一种基本的层结构。它主要用于神经网络的最后几层，将高层特征映射到输出空间中。全连接层对数据的每个输入节点与每个输出节点进行连接，用于实现输入特征和输出结果之间的映射关系。以下是对全连接层的详细解释。
2024-11-04 18:23:08
2806
原创 深度学习基础知识-损失函数
损失函数在深度学习模型训练中起着核心作用，它度量模型的预测输出与真实值的差距，并指导模型更新权重以缩小误差，从而实现更好的拟合。
2024-11-02 10:07:30
1643
原创 深度学习基础知识-残差网络ResNet
是由何恺明等人于 2015 年提出的一种深层卷积神经网络结构。它在 ILSVRC 2015 比赛中取得了图像分类、检测等多个任务的突破性成果。ResNet 的主要创新在于引入了“残差连接”（Residual Connections），有效地解决了深层神经网络的梯度消失和梯度爆炸问题，使得网络可以堆叠更多层，显著提升模型的表达能力和分类效果。
2024-11-01 15:22:45
2864
原创 深度学习基础知识-编解码结构理论超详细讲解
RNN 编解码结构是 Seq2Seq 任务的早期模型之一，通过递归的方式处理序列数据。编码器将输入序列逐步传递，通过递归的隐藏状态最终生成上下文向量，而解码器则使用这个向量来逐步生成目标序列。优势：RNN 擅长处理时间序列，能很好地保留输入的顺序信息。劣势：RNN 编解码结构存在长程依赖问题，难以捕捉长序列中的重要信息，同时计算复杂度较高，不能并行处理。文本生成是另一个重要的应用场景，特别是在自动摘要生成中。通过将长文本编码为上下文向量，解码器能够生成简明扼要的文本摘要。
2024-11-01 09:50:25
1919
原创 深度学习基础知识-Batch Normalization（BN）超详细解析
在深层神经网络（Deep Neural Networks, DNNs）中，层与层之间的输入分布会随着参数更新不断发生变化，这种现象被称为内部协变量偏移（Internal Covariate Shift）。具体来说，由于网络层逐层堆叠，各层参数的更新可能会导致前一层的输出分布发生变化，进而影响到下一层的输入分布。不稳定的梯度传播：随着层数的加深，输出的分布在层与层之间逐渐偏离原始的分布，使得梯度变得不稳定，从而导致梯度消失或梯度爆炸等问题。训练收敛速度变慢。
2024-10-31 15:25:48
3024
原创 深度学习-如何计算神经网络的输出？
给定一个包含输入层、隐藏层和输出层的神经网络架构，可以逐层推导出各节点的输出值。具体步骤如下： 输入层计算： 输入层有 3 个节点，编号为 1、2、3，输入向量为 x_1, x_2, x_3 。 输入层节点的输出值直接就是输入向量，即： a1=x1,a2=x2,a3=x3 隐藏层节点计算： 隐藏层有 4 个节点，编号为 4、5、6、7。每个节点和输入层节点之间都有连接，并且每个连接具有对应的权重。 以隐藏层节点 4 为例。该节点的输出值 a_4由输入层节点 1、2、3
2024-10-31 14:28:33
802
原创 深度学习之经典网络-AlexNet详解
AlexNet 有 8 层权重层，包括 5 层卷积层和 3 层全连接层（FC 层），并引入了一些重要的创新，包括激活函数、Dropout 正则化和重叠池化。它通过增加网络的深度和宽度，结合 GPU 加速，极大提升了 CNN 的能力。
2024-10-31 11:36:19
5972
1
原创 深度学习-梯度消失/爆炸产生的原因、解决方法
在深度学习模型中，梯度消失和梯度爆炸现象是限制深层神经网络有效训练的主要问题之一，这两个现象从本质上来说是由链式求导过程中梯度的缩小或增大引起的。特别是在深层网络中，若初始梯度在反向传播过程中逐层被放大或缩小，最后导致前几层的权重更新停滞（梯度消失）或异常增大（梯度爆炸），影响模型的有效训练和收敛。接下来，我们从网络深度、激活函数的选择等方面深入分析其成因，并探讨解决这些问题的主流方法。
2024-10-30 15:35:39
1945
原创 深度学习-迁移学习
迁移学习在深度学习应用中已成为提升模型训练效率和性能的关键技术，尤其在目标任务与源任务具有一定关联性、且标注数据有限的情况下效果尤为显著。迁移学习通过利用在大规模数据集（如 ImageNet）上预训练的模型知识，将其迁移到新任务中，减少了对大规模数据和计算资源的需求。不同的迁移学习策略（如特征提取、微调、参数冻结等）能够针对性地调整模型层级的学习参数，实现高效的模型适应性。
2024-10-30 15:00:52
1774
原创 解决windows主机与ubuntu虚拟机之间不能自由复制
从Ubuntu切换到ubuntu on Xorg，再输入密码进入ubuntu系统；点击用户名后不输入密码，右下角出现齿轮状图标，点击该图标；
2024-10-29 16:16:55
669
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人