- 博客(146)
- 资源 (1)
- 收藏
- 关注
原创 【大模型】LLM知识点解析
本文介绍了语言模型中的token概念及实现原理。token是文本中的词或子词单元,模型通过分词器将文本拆分为离散token序列。每个token对应一个嵌入向量,并与位置编码结合输入Transformer结构。训练时模型一次性预测所有位置的token,推理时则采用自回归方式逐步生成。文章还展示了基于nanoGPT的代码实现,包括Transformer块结构(自注意力+前馈网络)和整体GPT架构,涉及嵌入层、多头注意力机制等核心组件,并解释了参数初始化和权重共享等细节。
2026-06-28 22:07:17
235
原创 【大模型】Gemma4基于LORA的垃圾邮件识别单卡微调
本文基于Gemma4模型,使用LoRA方法对垃圾邮件分类任务进行微调。采用SMS Spam Collection数据集(包含5,574条标记为ham/spam的英文短信),通过数据平衡处理(747条spam+随机采样747条ham)和7:1:2比例划分训练/验证/测试集。修改了系统提示词和标签模式,将数据集转换为ShareGPT格式(包含system/user/assistant对话结构),最终生成训练测试文件。该实验延续了作者前文的情感分类微调工作,展示了大模型微调后的泛化能力。
2026-06-24 23:13:30
275
原创 【大模型】Gemma4基于LORA的情绪分类单卡微调
本文基于Gemma 4 E4B-it模型,在AI-ModelScope/emotion情绪分类数据集上进行了LoRA微调测试。文章首先介绍了LoRA(低秩自适应)的原理,通过优化秩分解矩阵实现高效微调,具有参数共享、低硬件门槛和无推理延迟等优势。接着详细说明了实验配置,包括使用魔搭社区下载模型和数据集,安装相关依赖库,并设置单卡训练环境。实验采用SFTTrainer进行指令微调,通过截取部分数据验证流程可行性。测试结果表明,LoRA微调有效提升了Gemma4模型对语句情绪的识别能力。
2026-06-20 23:45:59
322
原创 【大模型】Gemma4在ROCm和vLLM部署
Google DeepMind推出的Gemma4是一款高效开源大模型系列,主打参数效率,能在本地设备(如手机、电脑)上高效运行。相比前代Gemma3,Gemma4在速度、功耗、数学和编程能力上均有显著提升。它提供多个版本,从轻量级到高性能旗舰,满足不同需求。测试环境采用AMD显卡和ROCm平台进行推理部署,云端服务提供免费测试资源。部署步骤包括环境准备、模型下载和vLLM服务启动,最终实现与Gemma4的对话交互。后续还可进行微调以优化模型性能。
2026-06-16 23:14:59
321
原创 【Agent】基于Langchain的Agent数据库查询助手
本文介绍了基于深度代理框架(deepagents)的SQL查询智能代理系统。该系统支持本地Ollama模型和云端OpenAI API两种运行模式,提供数据库连接、技能存储和记忆系统等功能。配置方面详细说明了环境变量设置和两种运行模式的选择。测试结果显示,本地Ollama模式(Gemma4模型)准确但耗时较长(约35分钟),而云端OpenRouter模式仅需23秒即可完成相同任务。项目代码已开源,包含完整的数据库工具链和监控功能,为开发者提供了灵活的SQL查询自动化解决方案。
2026-04-26 23:25:19
461
原创 【YOLO】YOLO-Master 腾讯轻量级YOLO架构超越YOLO-13(含检测和分割推理)
YOLO-Master 腾讯春节开发的轻量级YOLO,超过YOLOv13。
2026-02-19 22:57:46
965
原创 【大模型】基于LazyLLM的日志助手开发
LazyLLM是一个简化大型语言模型应用开发的开源工具,支持模型部署、微调、推理优化和API封装。本文以智谱GLM为例,介绍API key申请和环境变量设置步骤,并展示如何基于LazyLLM开发日志分析助手。该助手能分类解析日志文件(ERROR/WARNING/INFO),通过GLM模型响应用户查询,提供日志统计和详情。示例代码包含日志解析、分类统计和交互查询功能,适用于快速构建私有化LLM应用。项目代码已开源,支持多种主流LLM平台接入。
2025-09-24 16:52:52
737
原创 【多任务YOLO】A-YOLOM
本文提出了一种轻量级实时多任务模型A-YOLOM,用于自动驾驶中的目标检测、可驾驶区域分割和车道线分割。该模型采用统一的分割结构和自适应拼接模块,通过可学习参数优化特征融合,简化了分割头设计并使用相同的损失函数处理所有分割任务。在BDD100k数据集上,A-YOLOM实现了81.1%的mAP50(检测)、91.0%的mIoU(可驾驶区域)和28.8%的IoU(车道线)。实验表明,该模型在真实场景中的表现优于对比方法,展现出良好的泛化能力和部署潜力。
2025-07-22 22:35:30
1151
4
原创 【自动驾驶】经典LSS算法解析——深度估计
LSS(Lift, Splat, Shoot)是一种将多相机图像转换为BEV(鸟瞰图)特征的3D感知方法。其核心流程分为三步:首先通过深度估计将2D图像升维为3D视锥点云(Lift);然后将点云特征投影到BEV空间并聚合(Splat);最后在BEV特征上进行路径规划等任务(Shoot)。该方法采用EfficientNet提取图像特征,利用相机内外参将特征投影到200×200的BEV网格(50m×50m范围),通过深度概率分布实现精准特征转换。LSS支持多相机融合,适用于自动驾驶中的语义分割和轨迹预测任务。
2025-07-09 20:16:54
1555
原创 【模型微调】 5%>100%:BreakingPerformance Shackles of Full Fine-Tuning on Visual Recognition Tasks
作者提出了Multi-cognitive Visual Adapter (Mona) 调优,这是一种新颖的基于适配器的调优方法。
2025-06-03 22:35:37
1209
原创 【CVPR2025】Transformers without Normalization
本研究表明,没有归一化的transformer(transformer)可以通过一种简单的技术实现相同或更好的性能。作者引入 动态双曲正切(Dynamic Tanh,DyT) ,一个逐元素操作 $DyT(x) = tanh(\alpha x)$,作 为transformer中归一化层的直接替代。 DyT的灵感来自于观察到 transform(transformer)中的层归一化通常生成类似tanh的 S 形输入输出映射。
2025-03-16 19:02:18
1626
原创 【问题解决】libcudart.so.11.0: cannot open shared object file: No such file or directory
【问题解决】libcudart.so.11.0: cannot open shared object file: No such file or directory
2025-03-03 22:37:06
5024
原创 YOLOv12最全使用教程【含ONNX模型推理】
YOLOv12在所有流行的实时目标检测器中,在准确性方面超越了它们,并且速度具有竞争力。例如,YOLOv12-N在T4 GPU上实现了40.6%的mAP,推理延迟为1.64毫秒,相比先进的YOLOv10-N/YOLOv11-N,在相当的速度下,**mAP提高了2.1%/1.2%**。这种优势也扩展到了其他模型规模。YOLOv12还超过了那些改进DETR的端到端实时检测器,如RT-DETR/RT-DETRv2:YOLOv12-S在运行速度比RT-DETR-R18/RT-DETRv2-R18快42%的情况下,仅
2025-02-22 20:29:28
4784
原创 Deepseek本地部署最全教程(Ollama安装)
最近,Deepseek在互联网掀起一阵浪潮,原因在于其用较低的成本训练出一个能和openai的chatgpt4媲美的大模型deepseek。
2025-02-09 09:21:43
891
原创 【Pytorch和Keras】使用transformer库进行图像分类
现在大多数的模型都会上传到huggface平台进行统一的管理,transformer库能关联到huggface中对应的模型,并且提供简洁的transformer模型调用,这大大提高了开发人员的开发效率。本博客主要利用transformer库实现一个简单的模型微调,以进行图像分类的任务。
2025-02-01 18:09:34
2030
原创 【CAN】asc报文格式文件合并(python版)
本博客主要介绍了如何用python根据时间对asc格式报文文件进行合并,方便进行后期的数据读取和整合。
2024-12-14 13:12:59
2525
原创 使用Python和Pybind11调用C++程序(CMake编译)
pybind11 是一个轻量级的头文件库,用于在 Python 和 C++ 之间互相暴露类型,主要用于为现有的 C++ 代码创建 Python 绑定。
2024-11-26 23:05:15
1982
原创 huggingface模型下载最全指南
本博客将会从huggingface的注册登录、获取许可权限和下载模型三个部分进行讲解,希望能帮助读者学会如何从huggingface中下载模型权重和配置文件。
2024-11-20 23:58:01
6831
原创 【论文速看】DL最新进展20241115-20241116
为了促进有效的决策制定,世界模型必须具备强大的泛化能力,以支持在分布外(OOD)区域的想象,并提供可靠的不确定性估计来评估模拟体验的可信度,这两者对于先前的可扩展方法都是重大挑战。下评估的E2E-AD方法,它们在固定路线上进行测试(例如,CARLA中的Town05Long和Longest6),以驾驶得分作为指标,由于指标函数不平滑和长路线中的大随机性,这种方法已知具有高变异性。大多数先前的最先进的方法都是静态的、手工制作的网络,这不仅严重依赖于专家知识,而且忽略了输入样本的语义多样性,因此导致性能不佳。
2024-11-16 21:29:40
922
原创 【论文速看】DL最新进展202411011-图像超分、Transformer
【论文速看】DL最新进展202411011-图像超分、Transformer
2024-11-11 22:41:10
1023
原创 【论文速看】DL最新进展20241109-图像超分、物理信息神经网络、扩散模型
【论文速看】DL最新进展20241109-图像超分、物理信息神经网络、扩散模型
2024-11-09 22:06:56
1381
原创 【论文速看】DL最新进展20241108-数据增强、大语言模型、人脸识别
【论文速看】DL最新进展20241108-数据增强、大语言模型、人脸识别
2024-11-08 23:57:02
786
原创 【论文速看】DL最新进展20241106-图像分类、图像分割、时间序列预测
【论文速看】DL最新进展20241106-图像分类、图像分割、时间序列预测
2024-11-06 22:26:19
2639
原创 【论文速看】DL最新进展20241105-Transformer、时间序列预测、Mamba
【论文速看】DL最新进展20241105-Transformer、时间序列预测、Mamba
2024-11-05 20:38:18
1238
原创 【论文速看】DL最新进展20241103-目标检测、Transformer
【论文速看】DL最新进展20241103-目标检测、Transformer
2024-11-03 21:46:08
1554
原创 【论文速看】DL最新进展20241101-视频生成、小目标检测、目标检测
【论文速看】DL最新进展20241101-视频生成、小目标检测、目标检测
2024-11-01 23:24:33
673
原创 结合文本的视觉目标定位:DQ-DETR: Dual Query Detection Transformer for Phrase Extraction and Grounding
结合文本的视觉目标定位:DQ-DETR: Dual Query Detection Transformer for Phrase Extraction and Grounding
2024-10-31 23:55:27
1302
adurino和树莓派Python使用IIC通讯通过ADS1x15读取模拟信号
2024-03-10
AI网络结构.jpeg
2019-11-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅