- 博客(23)
- 收藏
- 关注
RSS订阅原创 【论文精读】Tapered Language Models|锥形语言模型
本文提出了一种名为Tapered Language Models, TLM的新型架构设计原则。研究发现，在固定参数总量的情况下，采用参数容量随网络深度单调递减的锥形化分配策略（特别是采用余弦调度方案），可以显著降低模型困惑度。
2026-07-19 20:14:08
361
原创 ConvNeXt V2训练自定义分类数据集
ConvNeXt-V2：融合自监督学习的卷积网络改进 ConvNeXt-V2是Facebook AI Research对ConvNeXt的升级版本，通过结合自监督学习与架构改进，进一步提升了纯卷积网络的性能。其核心创新包括： 全卷积掩码自编码器（FCMAE）：采用稀疏卷积处理随机遮蔽的输入图像，保留空间结构，避免训练-测试不一致问题； 全局响应归一化（GRN）：通过通道间特征竞争机制缓解“特征崩溃”，增强特征多样性。 实际应用中，用户需注意代码默认数据集类别数（如ImageNet的1000类），
2026-07-05 16:17:31
451
原创 YOLOV8设置初始学习率lr0失效问题解决
摘要：YOLO训练时若发现初始学习率未按预期修改（args.yaml显示0.001但results.csv仍为0.01），需注意两点：1) 确保未使用resume=True断点续训模式；2) 当优化器为auto时会默认使用SGD(lr=0.01)，需显式指定优化器参数。解决方案：在训练代码或命令行中明确设置optimizer='SGD'并配合lr0=0.001参数，或在model.train()中直接指定优化器类型，从而覆盖默认值。
2026-02-02 20:45:00
142
原创 YOLOv8添加自定义模块CoTNet
本文详细介绍了如何在YOLOv8模型中集成CoTNet模块以提升检测性能。主要内容包括：1) CoTNet模块的原理说明，该模块通过上下文编码和动态注意力机制增强特征提取能力；2) 代码实现步骤，包括在YOLOv8中添加C2f_CoT自定义模块、修改相关配置文件(init.py、task.py)和创建新的yaml模型配置文件；3) 训练新模型的方法。通过将YOLOv8中原有的C2f模块替换为C2f_CoT模块，可以提升模型的长距离上下文信息提取能力，从而提高检测精度。文章提供了完整的代码修改指南和训练流程，
2026-01-25 17:16:09
944
1
原创 VS code安装与配置C++和Python
本文介绍了如何安装和配置Visual Studio Code（VSCode）及其C++和Python开发环境。主要内容包括：1）VSCode的安装步骤及注意事项；2）Windows下配置C++开发环境，包括MinGW-w64的安装与环境变量设置；3）Python环境的配置方法。文章详细说明了相关组件的选择标准，并提供了简单的测试程序验证环境配置是否成功。最后给出了在VSCode中运行C++和Python程序的具体操作步骤。
2025-11-26 14:31:56
1589
原创 八、使用LoRA进行参数高效微调
LoRA（低秩自适应）是一种高效的参数微调技术，通过引入低秩矩阵A和B来调整预训练模型权重，大幅减少需训练参数数量（从1.24亿降至266万）。该方法冻结原始权重，仅更新低秩矩阵，既保留预训练知识又降低计算成本。实验将LoRA应用于GPT-2模型的垃圾邮件分类任务，展示了其在保持模型性能的同时显著提升训练效率的优势。结果表明LoRA特别适合大模型微调，通过调整rank和alpha参数可平衡模型性能与资源消耗。
2025-11-21 15:44:11
773
原创 七、微调GPT2遵循人类指令
本文介绍了大语言模型指令微调的完整流程，主要包括三个关键步骤：1）数据准备，将指令-回复对转换成Alpaca格式并划分数据集；2）模型配置与微调，构建自定义数据集类和处理函数，加载预训练GPT-2模型进行微调；3）评估方法，通过生成测试集响应和使用Llama3模型自动评分来评估对话性能。文中详细展示了数据处理、批次构建、模型训练的具体实现，并提出了结合多项选择测试、人类评估和自动化评估的综合评估策略。该流程为开发对话型AI系统提供了实用的技术指导。
2025-11-17 14:16:53
843
原创 六、针对分类的微调LLM
本文介绍了如何对预训练的大语言模型进行微调以适应垃圾邮件分类任务。首先构建平衡数据集，使用GPT2 tokenizer构建数据加载器。模型微调时冻结大部分参数，仅微调最后一层transformer块、归一化层和修改后的输出层（2分类）。实验展示了模型在垃圾邮件分类上的应用效果，并提供了模型保存和加载方法。该方法有效利用预训练模型的特征提取能力，通过有限微调实现特定分类任务。
2025-11-11 15:50:29
752
原创 五、在无标签数据上预训练 LLM
本文介绍如何训练GPT2模型，并且介绍了两个文本生成策略，温度缩放和Top-k采样来增加模型生成文本的多样性。此外，在最后还详细展示了如何加载OpenAI开源的tensorflow版本的GPT2模型参数
2025-11-10 10:45:00
692
原创 四、从头实现GPT模型
本文介绍了GPT模型的关键组件实现，包括层归一化、GELU激活函数和前馈神经网络。重点阐述了Transformer块的构建过程，它通过多头自注意力机制和前馈网络处理输入数据。最后展示了GPT模型的整体架构，包含词元嵌入、位置嵌入、多个Transformer块和输出层。文中还提供了一个简单的文本生成方法，通过迭代预测下一个词元来生成连贯文本。这些组件共同构成了GPT-2等大型语言模型的核心结构，但需注意未经训练的模型生成文本质量有限。
2025-11-05 21:57:51
549
原创 三、LLM自注意力机制
本文系统阐述了注意力机制的发展与实现。首先介绍自注意力机制的基本原理，包括点积计算、归一化和上下文向量生成；其次详细说明带可训练权重的注意力机制实现过程，通过查询、键、值向量计算注意力分数；然后探讨因果注意力机制，限制模型只能关注当前及之前的词元；最后解析多头注意力机制，通过分割和合并多个注意力头来提升模型性能。文章通过代码示例展示了从基础到进阶的各种注意力机制实现方法，为理解现代Transformer架构提供了技术基础。
2025-11-04 21:14:09
843
原创 二、LLM文本数据处理
文章介绍了如何将非数值数据（如文本、图像）转换为神经网络可处理的向量格式——嵌入过程。重点讲解了文本分词、词元ID转换和嵌入向量生成三个关键步骤，包括BPE分词算法、词汇表构建及位置信息嵌入。通过PyTorch示例展示了数据加载器的实现和嵌入层的应用，解释了词嵌入维度选择及绝对/相对位置嵌入的区别。文章还提及了GPT模型处理特殊词元和超长文本的策略，为理解大语言模型的输入处理流程提供了实用指南。
2025-10-28 23:47:02
874
原创 一、大语言模型（LLM）理解
大语言模型(LLM)是基于Transformer架构的深度神经网络，以其超大规模参数量(数百至数千亿)和海量训练数据著称。核心应用包括文本生成、机器翻译、内容创作等，但通用模型在专业领域存在局限。构建LLM需经历三阶段：基础模型预训练、数据集准备、针对性微调(指令微调或分类微调)。Transformer通过自注意力机制捕捉长距离语义依赖，其编码器-解码器结构能有效处理输入文本并生成连贯输出，这正是LLM预测下一个词的核心能力所在。
2025-10-27 15:44:12
357
原创 YOLO系列（V8、V9、V10、V11和V12）对比
YOLO系列算法发展综述：从YOLOv8到YOLOv12的技术演进 目标检测领域标杆算法YOLO系列持续创新，各版本在速度与精度上不断突破。YOLOv8采用C2f模块和双向特征金字塔，实现高效特征提取；YOLOv9引入可编程梯度信息(PGI)解决深度网络信息丢失问题；YOLOv10通过一致性双标签策略实现NMS-Free检测；YOLOv11优化边缘设备适配性；最新YOLOv12创新性地提出区域注意力机制，在保持实时性的同时显著提升检测性能。
2025-10-17 11:00:44
2449
原创 IoU、CIoU、DIoU和GIoU损失函数的区别
目标检测中评价预测框精度的指标从基础IoU发展为改进版本GIoU、DIoU和CIoU。IoU计算交并比但无法处理不重叠情况且忽略位置信息。GIoU引入最小外接矩形解决不重叠问题，范围扩展至(-1,1]。DIoU增加中心点距离惩罚项，收敛更快但未考虑长宽比。CIoU在DIoU基础上引入长宽比惩罚项，综合考量重叠区域、中心距离和形状匹配，计算更复杂但定位更精准。这些改进指标各具特点，适应不同检测需求。
2025-09-12 16:39:12
1192
原创 点云PointNet、PointNet++详解
本文介绍了点云数据处理的两大经典深度学习模型。点云数据具有无序性和稀疏性特点，与图像数据在深度信息获取方式上存在本质差异。PointNet通过多层感知机提取点特征，并使用最大池化等对称函数聚合全局特征，解决了点云无序性问题。其改进版PointNet++引入层次化特征学习机制，采用最远点采样和局部区域特征提取策略，有效捕获多尺度局部几何信息。两个模型分别解决了点云处理中的全局特征提取和局部细节保留问题，为后续研究奠定了基础。
2025-09-09 14:13:58
933
原创 OpenCV 检测矩形并记录层级关系
本文介绍了使用OpenCV检测图像中矩形及其包含关系的方法。通过cv2.findContours获取轮廓及层级关系，结合IoU计算筛选重复矩形。方法首先对图像进行灰度化、高斯滤波和二值化处理，然后检测四边形轮廓并计算其坐标。通过递归函数获取每个矩形的所有子矩形，最终输出矩形坐标和层级关系。该方法能有效处理矩形嵌套问题，但可能因线段干扰导致漏检。
2025-09-03 17:41:27
1030
原创 YOLOv8结构详解
Ultralytics YOLOv8作为目标检测模型，相比于之前版本YOLOv5，v8更适合被称为一个计算机视觉框架。YOLOv8 系列提供了多种模型，这些模型旨在满足从等更复杂任务的各种要求。其相比于自身的创新点，更加符合工程领域上的需求。
2025-08-29 16:31:17
1854
原创 Python正则表达式从匹配整数到深入理解
本文介绍了使用正则表达式匹配数字的两种方法：方法一通过\d+\.?\d*匹配整数或小数；方法二通过(?:^|[^\d.])(\d+)(?:$|[^\d.])仅匹配整数，排除小数。详细解析了正则表达式的基本符号（如\d、\w等）、零宽度断言（如?=、?<=等）和非捕获分组(?:)的用法与特性。特别说明了后行断言的长度限制和非捕获分组不保存匹配内容的特点。文中示例展示了不同模式在匹配整数时的应用场景与效果差异。
2025-07-17 18:19:33
526
原创 IoU（交并比）理解与计算
IoU（交并比）是计算机视觉中评估预测区域与真实标签区域重叠程度的常用指标，计算方式为交集面积与并集面积的比值。在不同坐标系中，IoU的计算方法略有差异：在图像坐标系中，由于像素离散性，计算面积时需对宽高加1处理；而在二维笛卡尔坐标系中则无需调整。两种坐标系的实现代码分别展示了如何计算交集边界和最终IoU值，其中均包含防止除零的微小常数。该指标广泛应用于目标检测和图像分割任务。
2025-07-11 14:54:31
812
原创 pycharm SSH连接远程服务器
Tools -> Deployment -> Browse Remote Host 可以打开侧边栏显示服务器中项目文件，右键选中的文件可以将本地的该文件上传到服务器中，或者下载到本地的对应目录中。在Connection标签下，Root path选择服务器中保存该项目的文件夹，也就是本地项目地址映射到的服务器项目地址。Sync folders是指将本地的项目根目录映射到的服务器地址，点击后面的文件夹图标可以修改。左边是本地地址，后面是服务器地址，点击可以修改自己的。再点击Create即可。
2025-05-07 15:14:14
1537
原创 pycharm使用git stash 暂存修改内容
当前分支写了部分代码时，需要切换到另一个分支时，需要保持当前分支工作区干净，即没有修改记录，此时可以git commit后再checkout到另一个分支， 或者git stash暂存代码后切换分支。
2025-04-22 16:51:41
1275
原创 python创建虚拟环境并安装包
1. 可能需要更新pip pip install --upgrade pip。2. cd 到requirements.txt路径下，或者pip时带上路径。直接利用pip或者conda 安装即可。
2025-04-03 18:24:49
490
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人