magic_ll-优快云博客

原创【yolov8系列】yolov8的目标检测、实例分割、关节点估计的原理解析

对前两者进行解析可得到，有效的gridceil预测出了目标的类别和目标的box，此时可以很容易获取该gridceil中的目标的mask_coef，维度为32，刚好与Proto输出的channel维度32相一致。不同mask为网络学习到不同的掩码信息，值得注意的是单张mask并不意味着mask中只有一个目标的mask。2 仅保留该gridceil检测出的box内的mask，然后再对mask框内的mask的每个像素进行阈值过滤（工程中阈值设为0.5），即得到该目标的最终的mask。

2023-10-17 14:51:49 20579 37

原创【大模型】数字人 Sonic 的环境配置和使用

下面是我实际设置的路径【/opt/ai-platform/lldataset/240/modelscope/modelscope/hub/Sonic】，自己使用时修改为想要存放的路径即可。它能够通过音频驱动肖像图片生成生动的面部表情和口型动作，从而制作出高度逼真的数字人口播视频，广泛应用于虚拟主播、数字客服等场景，具有高效、低成本的特点。【使用体验】实际使用效果不会一眼假，已经很贴近真人，但整个视频中可能存在个别帧稍显不流畅，值得深入研究、测试和使用。在游戏中生成逼真的NPC表情和动作，增强游戏的沉浸感。

2025-03-27 21:38:13 972

原创【大模型】数字人 EchoMimicV2 的环境配置和使用

它能够让用户仅通过简单的音频输入，生成与声音内容相匹配的动画效果，使虚拟人物看起来更加生动。例如，在在线教育场景中，它可以通过录制好的讲解音频和教师的人物形象，生成与之同步的动态教学视频，为远程教学提供更加生动的视觉体验。在工程路径【./echomimic_v2/assets/halfbody_demo】下，给出了官方示例的图片、音频、动作。补充，当我们删除【pretrained_weights】，仅仅删除了软连接，不会影响到连接路径下的文件。该工程上传的音频，支持的是 wav格式。

2025-03-25 21:32:35 1112

原创【大模型】Transformer、GPT1、GPT2、GPT3、BERT 的论文解析

GPT-3尤其引人注目，展现了强大的语言理解和生成能力。GPT-3 论文展示了大规模语言模型在预训练和少样本学习方面的强大能力，通过增加模型规模和训练数据，显著提升了模型在各种 NLP 任务上的性能。GPT-2 的成功为后续的 GPT-3 和其他大型生成模型奠定了坚实的基础，并对未来的研究方向提供了宝贵的参考。在GPT-2中要做zero-shot，所以在做下游任务时模型不能够被调整，若此时引入模型未见的符号，模型就会困惑无法得到预期结果，所以就要求模型在下游任务的输入和预训练时候的输入要风格一致。

2025-03-16 18:26:12 1442 3

原创【RNN神经网络】序列模型与RNN神经网络

循环神经网络（RNN）、门控循环单元（GRU）、长短期记忆网络（LSTM）以及它们的变体如深度RNN（Deep RNN）和双向RNN（Bi-directional RNN）都是不同类型的循环神经网络，它们可以作为序列到序列（Seq2Seq）模型的构建块。总结来说，RNN、LSTM、GRU、深度RNN和双向RNN是不同类型的循环神经网络结构，它们可以被用来构建Seq2Seq模型的不同部分，而不是简单的并级或包含关系。综上所述，序列模型是一种强大的机器学习模型，能够处理各种序列数据并生成有用的输出。

2025-03-16 17:34:45 815

原创【环境配置】windows下vscode下无法激活conda环境、创建虚拟环境报错

前言我的本地的系统，绝大部分是使用的ubuntu。去年下半年开始切换成windows，然后windows下使用vscode还需要注意一些小的配置。为了避免反复搜索，这里记录下。当已经再 windows 下安装了anaconda、vscode，之后的使用，有可能存在如下问题或需求：vscode下终端无法激活conda环境创建虚拟环境报错安装pytoch 的注意事项Git Bash的安装（它允许在 Windows 上使用类似于 Linux/Unix 的命令行界面进行 Git 操作。

2025-03-16 16:05:49 1272

原创【大模型】Ubuntu下 fastgpt 的部署和使用

若是填入的方式，一定注意名称的正确填写，可使用命令【ollama list】查看ollama下载的模型。：支持多种文档格式（如 Word、PDF、Excel、Markdown 等）的导入，自动完成文本预处理、向量化和问答分割，节省手动训练时间。OneAPI 是一个统一的接口管理与分发系统，旨在通过提供一个单一、统一的接口，简化对多个后端服务或数据源的访问。在下图中【语义检索】中，可以进一步勾选，这里默认不变。点击【发布渠道】界面，然后【创建新链接】、【开始使用】、【复制链接】在浏览器中打开。

2025-02-25 22:20:30 1230 1

原创【大模型】Ubuntu下安装ollama，DeepSseek-R1:32b的本地部署和运行

性能提升：经过蒸馏的 Qwen-32B 在多个基准测试中表现出色，例如在 AIME 2024 上得分 72.6%，在 MATH-500 上得分 94.3%，在 LiveCodeBench 上得分 57.2%。Qwen-32B 是学生模型：它是一个参数量较小的模型，通过学习 DeepSeek-R1 的输出来提升自己的推理能力。通过这种知识蒸馏的方式，DeepSeek-R1 的推理能力被高效地迁移到了 Qwen-32B 中，使得 Qwen-32B 在推理任务上能够达到与 DeepSeek-R1 相当的性能。

2025-02-07 21:56:22 4032

原创【Docker】ubuntu中 Docker的使用

Dockerfile是一个文本文件，其中包含了一系列指令，这些指令定义了如何从基础镜像创建一个新的Docker镜像。通过执行。

2025-01-25 20:11:12 1930 2

原创【大模型】Langchain-Chatchat-v0.3.1 的环境配置

本项目的最新版本中可使用 Xinference、Ollama 等框架接入 GLM-4-Chat、 Qwen2-Instruct、 Llama3 等模型，依托于 langchain 框架支持通过基于 FastAPI 提供的 API 调用服务，或使用基于 Streamlit 的 WebUI 进行操作。如果你只需要一个专注于 Python 项目的依赖管理和打包工具，希望获得更好的依赖解析能力和更简洁的工作流，那么 Poetry 是一个很好的选择。生成的5个配置文件，（其他的文件是我拉取的源码，方便查看阅读。

2025-01-12 20:07:25 1619 3

原创【大模型】Xinference的安装和部署

Xinference通过提供简单API和强大的功能，使得私有化模型的大规模部署成为可能，无论是在个人电脑还是分布式集群中，都能够发挥异构硬件的全部潜力，达到最极致的吞吐量与最低的推理延迟。：Xinference简化了包括大语言模型、多模态模型、语音识别模型等模型部署的过程，允许用户轻松一键部署自己的模型或内置的前沿开源模型。：Xinference专注于优化模型的推理性能，并支持多种类型的模型，包括深度学习模型。如下图，待参数设置OK后，点击小火箭，则下载模型和加载模型，模型下载到默认路径。

2024-12-29 13:13:45 7694 1

原创【大模型】LLaMA-Factory的环境配置、微调模型与测试

前言时常和朋友闲聊，时代发展这么快，在时代的洪流下，我们个人能抓住些什么呢。我问了大模型，文心一言是这样回答的：在快速发展的时代背景下，个人确实面临着诸多挑战，但同时也充满了机遇。尽管时代洪流滚滚向前，我们依然可以抓住一些关键要素，以实现个人成长和价值提升…（一些建议）… 记住，每个人的成长路径都是独一无二的，找到适合自己的方式并坚持下去才是最重要的。哈哈跟没回答一样，毕竟是一个开放命题，还是要落到个人的行动上的。先动起来吧，我的大模型的记录终于开始了。

2024-11-26 21:28:05 2654

原创【相机与图像】3. ARUCO的相关介绍、相机姿态估计

内部二进制矩阵：Aruco 标记都有一个固定的内部矩阵，由二进制编码组成，编码了标记的ID和其他可能的信息。通过估计相机的姿态，可以根据相机的位置和朝向来确定虚拟对象的位置和姿态，从而实现虚拟对象与实际场景的融合。每个词典中所有的Aruco标记均包含相同数量的块或位（4x4、5x5、6x6、7x7），且每个词典中Aruco标记的数量固定（50、100、250、1000）。：使用相机捕获图像或视频，并使用相应的算法检测图像中的ArUco标记（如 3.2），解析其编码以获取ID和姿态信息（如 3.3）。

2024-08-12 17:05:48 1610

原创【相机与图像】2. 相机内外参的标定的代码示例

3D的点的生成：在每张图片上，共存在11*8个角点存在。每张图存在自己的世界坐标系，是以右上角（长边为底边）为3D坐标原点，所以在代码中需要生成一个shape=(11*8,3) 的numpy数组。存放着世界坐标系中的棋盘格点,例如(0,0,0), (1,0,0), (2,0,0) …使用将要标定的摄像头，以不同的角度采集棋盘格，要保证视野内出现完整的棋盘格。图片上的2D角点检测：该工作在opencv提供了对应的api直接调用即可，对应api为。摄像头捕获的用于标定的图片。2 摄像头外参的标定。

2024-08-12 16:50:42 1429 4

原创【相机与图像】1. 相机模型的介绍：内参、外参、畸变参数

在实际相机中，会将成像平面上倒转的图像处理成与3D目标，直观上是一致的。相机坐标系下的点除以最后一个维度（即该点距离相机成像平面的深度），即对最后一维度进行归一化处理，得到点P在相机的归一化平面上的归一化坐标。图像坐标系的原点位于感光芯片的中心（感光芯片是位于镜头背后的用于成像的小板子），x、y轴方向和相机坐标系的x、y轴相同。外参矩阵描述的是，世界坐标系下的坐标转换为相机坐标系下的坐标的过程。为了公式更好的转换和表达，引入了齐次坐标（在原有的坐标维度额外补充1维，数值为1），在这里像素的齐次坐标为。

2024-07-24 17:08:09 4958 4

原创【yolov8系列】ubuntu上环境搭建、yolov8的开启训练的极简操作

yolov8的广泛使用，拉取yolov8源码工程，然后配置环境后直接运行，初步验证自己数据的检测效果，在数据集准备OK的情况下需要信手拈来，以保证开发过程的高效进行。提高显卡驱动版本或降低pytorch版本即可。这里方便起见，降低pytorch版本与显卡驱动匹配即可。顺便也记录下ubuntu下的一些简单的常用的操作。

2024-06-28 12:05:18 1407

原创【环境配置】ubuntu中 Docker的安装

Docker Hub是一个云端服务，主要用来储存公有和私有源中的 Docker 镜像。想要以非 root 用户执行 Docker 命令，需要将用户添加到 Docker 用户组，该用户组在 Docker_ce 软件包安装过程中被创建。第一次云运行时本地没有该镜像，这个命令将会下载测试镜像，在容器中运行它，打印出 “Hello from Docker”，并且退出。拉取 hub.docker.com 的镜像，会发现速度很慢，是因为有墙。在卸载 Docker 之前，最好移除所有的容器，镜像，卷和网络。

2024-06-28 08:49:29 27988 11

原创【环境配置】windows的磁盘分区、VMware下的ubuntu20的安装、虚拟机系统界面过小的处理

VMware是运行在windows系统上的虚拟机软件，可以虚拟出一台计算机硬件，方便安装各类操作系统，如Windows、linux、unix等。桌面会生成对应的快捷键，双击打开，会让输入秘钥。这段时间在折腾自己的笔记本，刚好有同学新买台式机，就顺便记录下windows的环境的一些操作。在打开Ubuntu环境的情况下，点击【虚拟机】，会看到 VMware Tool一项，这个是需要进行安装。关闭ubuntu，进入虚拟机的配置地方，修改使用IOS的映像文件。下载所需软件，需要登录账号登操作，完成安装包的下载。

2024-05-29 19:15:03 1271

原创【深度学习基础知识】IOU、GIOU、DIOU、CIOU

通俗意思是在IOU值和中心点距离值相同时，两个框的长宽比指标越相似，说明预测框与目标框的对比效果越好。如下图所示，三种情况IoU都相等，但看得出来他们的重合度是不一样的，左边的图回归的效果最好，右边的最差。对于GIOU的缺点，即目标框包裹预测框的这种情况，DIOU Loss可以使回归非常快，而GIOU Loss几乎退化为IOU Loss。如图9所示，当IOU值和两个框的中心点距离一样时，即检测框中心点在以目标框中心点为圆心半径相同的圆弧上时，DIOU没办法区分。直观的反映预测检测框与真实检测框的检测效果。

2024-03-18 09:54:14 1459

原创【论文阅读】Segment Anything论文梳理

Abstract我们介绍了Segment Anything（SA）项目：新的图像分割任务、模型和数据集。高效的数据循环采集，使我们建立了迄今为止最大的分割数据集，在1100万张图像中，共超过10亿个掩码。该模型被设计和训练为可提示的的 (promptable)，因此它可以将零样本(zero-shot) 迁移到新的图像分布和任务。我们评估了其在许多任务上的能力，发现其零样本迁移性能十分优秀，与之前的完全监督方法的结果相比，具有竞争力甚至优于这些结果。链接：https://segment-anythin

2024-03-05 11:57:40 2399 1

原创【论文阅读】【yolo系列】YOLO-Pose的论文阅读

我们介绍YOLO-pose，一种无热图联合检测的新方法，基于流行的YOLO目标检测框架的图像二维多人姿态估计。

2024-02-20 14:26:12 5344 6

原创【Transformer】Transformer的简单了解：Positional Encoding、Self-attention、Batch 与 Layer Norm 等

自从2017年Transformer模型被提出以来，它已经从论文最初的机器翻译领域，转向语音，图像，视频等等方面的应用。最近的Segment Anything论文提出，阅读论文其中大量的transformer的在图像方面的应用。所以这里还是加紧记录下transformer相关内容。transformer初了解Positional Encoding（位置编码）Self-attention（自注意力机制）Batch & Layer Norm（批量归一化/层标准化）transformer的结

2024-01-08 10:26:11 1645

原创【yolov8系列】 yolov8 目标检测的模型剪枝

有框架完成的对网络所有结构都自适应剪枝是最佳的，但这里没有详细记录torch-pruning的yolov8的剪枝，是因为存在不解对其yolov8具体的剪枝代码中操作：“比较疑惑 replace_c2f_with_c2f_v2(model.model)的梯度置为Fasle，是因为该层是解析box时的一个向量，具体的为 [0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15]，为了便捷的将该处理保存在模型中，所以就定义了一个卷积，所以该卷积不需要梯度、不需要反向传播，所以该层的。

2023-12-20 14:08:45 13020 66

原创【剪枝】torch-pruning的基本使用

假设正在对一个卷积结构化剪枝，需要减去哪些内容，具体第几个卷积核、对应的偏置、BN中对应的维度、与其直接或间接相连的层的核的channel。在结构化剪枝中，这两个卷基层之间存在非常直观的依赖关系，即当我们调整第一层的输出通道时，第二个卷积层的输入通道也需要相应的进行调整，这使得蓝色高亮的参数需要同时被剪枝。怎么去看这个group呢，在下图右侧进行了简单的标注，可以发现conv1的group都会进行剪枝，从而适应conv1的卷积核的维度发生的变化。结构化和非结构化剪枝方向，已发表的有较多的论文。

2023-11-22 11:25:28 8468 3

原创【量化】量化原理浅析

前言模型在端侧运行时，会追求模型保持原有精度的同时，让模型的运行速度更快。基本方向为模型压缩和加速，着力于减少网络参数量、降低计算复杂度。可通过以下方式实现：针对网络结构本身进行改进，常用的3x3的卷积的叠加代替大卷积；average-pooling 代替 full-connection layers；MobileNets中使用的 depth-wise convolution 代替传统的卷积方式；等。剪枝：除去神经网络结构中不重要的部分量化：调整网络结构中的权重和激活值的表达精度。

2023-09-27 14:24:40 6028 2

原创【yolov8系列】将yolov8-seg 模型部署到瑞芯微RK3566上

前言之前记录过，整体比较流畅，记录了onnx转rknn的相关环境配置，使用的rk版本为rknn-toolkit2-v1.4.0。当前库已经更新为1.5，这里还是沿用1.4的版本进行记录。本篇博客是在上篇博客（yolov5的rk3566的部署）的基础上，记录下yolov8n-seg的模型在3566上的部署过程。若精度异常可查看官方提供文档，写的比较详细。这里说明下自己遇到的问题：yolov8模型模型进行全量化结果异常yolov8模型在PC端模拟器的运行结果时，板端运行结果异常。

2023-07-27 16:54:33 6062 26

原创【论文阅读】Generalized Focal Loss的解读。交叉熵、Focal Loss、Quality Focal Loss、Distribution Focal Loss

最后，我们将QFL和DFL的公式总结为一个统一的视角，称为 Generalized Focal Loss(GFL)，作为FL的一个灵活的扩展，以促进未来进一步的推广和普遍的理解。专注于一组稀疏的困难样本的同时，对相应的类别进行连续的0∼1质量估计。举例子：5分类的任务，第1类别的分类标签onehot应为 [0,1,0,0,0]，当前训练时检测框和对应标签框的iou为0.65，则此时分类的标签不再使用 [0,1,0,0,0]，而是使用分类-iou联合表示：[0,0.65,0,0,0]。

2023-07-17 16:12:53 4276 4

原创【论文阅读】【yolo系列】YOLACT Real-time Instance Segmentation

事实上，我们在COCO上的基本模型在测试集上的mask和box的mAP（29.8mask，32.3box）之间只有2.5 mAP的差异，这意味着即使使用完美的掩码，我们的基本模型也只能获得少数mAP点。此外，Mask R-CNN具有相同的mAP差异（35.7mask，38.2 box），这表明两种方法之间的差距在于我们的检测器的性能相对较差，而不是我们生成掩码的方法。因为预测系数是困难的。例如，在图7中，YOLACT 产生了一个干净的手臂边界的掩码，而FCIS和Mask R-CNN都有更多的噪声。

2023-06-28 16:25:10 2740

原创【yolov5系列】将yolov5s模型部署到SigmaStar的9383芯片上

在文件【IPU_SDK_Release/Sigmastar_SDK_vS3.0.2/SGS_IPU_SDK_vS3.0.2/doc/SDK_Doc_Release/index.html】中说明了sigmastar模型转换的环境的安装、已经相关转换流程和注意事项等。在第四个阶段，针对自己以上的设置，重新写了推理后的后处理（使用的rknn的后处理，也是为了两者的结果的对比）一般的，这个脚本里面注意两点：图片的尺寸问题、均值方差的通道（这里的是BGR，input_config.ini 中的是RGB）

2023-06-26 08:31:32 3811 19

原创【yolov5系列】将模型部署到瑞芯微RK3566上面

量化的图片的shape和网络输入如果不一致，这里会自动resize，所以为了保证精度，我们的量化数据集的shape尽量与输入一致。我们需要注意下，对于RK1126相似系列的代码中模型转换时，模型build时，有个预编译参数，仿真时和端侧运行时的设置是不一致且不通用的。这里的buf的设置时，一定保证图片的大小和网络的输入是相同的尺寸。当然在其它芯片上的操作类似，差别会在具体的API的调用上。上图分别获取的内容：rk的版本信息、模型的输入输出数量的信息、输入节点相关的信息、输出节点相关的信息。

2023-06-19 18:38:19 8232 5

原创【论文阅读--轻量化模型】MobileNetsV1: Efficient Convolutional Neural Networks for Mobile Vision Applications

图4显示了由宽度乘数α∈｛1，0.75，0.5，0.25｝和分辨率｛224，192，160，128｝的叉积制成的16个模型的ImageNet精度和计算之间的权衡。总的趋势是制作更深更复杂的网络，以实现更高的精度。这是一种分解卷积的形式，将标准卷积分解为【深度卷积】和【逐点卷积的1×1卷积】，这种因子分解具有显著减少计算和模型大小的效果。图5显示了由宽度乘数α∈｛1，0.75，0.5，0.25｝和分辨率｛224，192，160，128｝的叉积制成的16个模型的ImageNet精度和参数数量之间的权衡。

2023-06-08 17:12:12 649 1

原创【yolov5系列】yolov5的原理与核心代码解析

然后对左图是对右图的pool进行了合并连接。上面代码处理后，标签和匹配的anchor是的尺寸是【原图尺寸下的标签尺寸下采样到某一个输出层时的尺寸】（这里的原图尺寸指的是图片像素级resize到神经网络输入时的尺寸，代码中备注的也是）。原因是为了正样本扩充，因为标签在扩充后的正样本的xy的数值范围在(-0.5,1.5)之间，所以需要转换后的偏移。】为检测框对应的xywh，具体的为：xy检测框的中心下采样到某层输出上，距离grid ceil 左上角的偏移，wh为检测框的长宽与当前anchor的长宽的比值。

2023-06-05 15:15:20 15897

原创【pytorch系列】优化器optimizer的使用与常用优化器

【params_groups】该实例的类型为 list，可以将神经网络中需要更新的参数分组管理，list中每个元素为一组数据，包括：优化器中需要更新的参数，以及default中超参数在当前的对应数据。在第一次运行保存结果时的 optimizer，和第二次运行加载模型后的optimizer，可查看两次的优化器当中的 state_dict()的内容，这里不截图展示。打印两者的id，可以看到是完全一致的，说明optimize.param_groups中的参数存的是网络中参数的引用，这样操作也是为了节省内存。

2023-04-20 18:20:34 3487 1

opencv4.4.0编译时下载文件_face_landmark_model.dat_IPPICV等.zip

opencv-openpose.zip

opencv-openpose.zip的脚本

空空如也