qq_35661896的博客

原创 Qwen3 VL源码创新点解读(对比2.5)

2.5 和 3 中类对比。

原创 Qwen2.5 VL 源码解读

前置。

原创 Qwen-VL系列微调/推理/部署

可以直接用示例中的demo数据, 自己下载的数据也需要按照此格式组织好。

原创 深入浅出：图解ROS核心通信机制 - Talker, Listener与Master的“媒婆”牵线之旅

ROS基于话题的发布/订阅通信机制，通过引入ROS Master作为“信息中介”，巧妙地实现了节点间的动态发现和连接。​注册与匹配：​​ 节点向Master注册发布/订阅意图。牵线搭桥：​​ Master发现匹配后通知双方。​直接通信：订阅者主动连接发布者建立TCP/IP通道。高效传输： 消息直接在节点间传输，无需Master中转。这种机制提供了松耦合​（节点无需知道彼此的存在）、灵活性​（动态加入/退出）、高效性​（点对点传输）和易用性​（API封装）等巨大优势，是ROS分布式系统架构的核心支撑。

原创 ALBEF/BLIP/BLIP2/Instruct BLIP/X Instruct BLIP

​将指令语义深度融入视觉特征提取阶段，通过动态软提示实现： ​​“让模型学会根据问题主动寻找视觉证据”​​而BLIP-2仅是简单拼接静态图像特征与问题文本。

原创 一文带你彻底搞懂DINO

DINO和MoCo很像，主要创新是从蒸馏的角度重新解释了一下网络，并且不再采用负样本。DINO（​​D​​istillation with ​​I​​n​​NO​​ Labels）是一种基于自监督学习的神经网络框架，主要用于视觉表征学习（如ViT、CNN等）。其核心思想是通过​​知识蒸馏​​（无标签数据）和​​对比学习​​来训练模型，无需人工标注即可学习强大的特征表示。

原创 一文带你彻底搞懂视觉大模型之自监督学习

1.BEiT（BERT Pre-training of Image Transformers）是一篇2021年发表在arXiv上的论文，提出了将BERT的思想应用于图像处理的方法。2.BEiT方法将输入图像切割成多个patch，随机mask掉一部分，并用一个可学习的编码替换被mask的部分。3.网络通过vision transformer结构预测被mask部分的内容，类似于分类任务。优化目标与数学公式1.优化目标是最大化被mask部分与其真实类别之间的条件概率。

原创 Beta分布的归一化证明以及期望方差的计算

参考链接：【理解】Beta贝塔分布Beta 分布归一化的证明（系数是怎么来的），期望和方差的计算β分布也是很重要的一个分布，其性质的探讨会继续更新~...

原创 多元正太分布下贝叶斯估计法的参数估计

模式识别作业，书上只有一维正太变量的贝叶斯估计法的推导过程；这里给出多元正太分布下的贝叶斯估计的推导过程。（本人比较懒，直接上图趴。。。）至此推导出了均值与协方差矩阵测估计量；可以与一元正太分布的结果做对比，发现有很高的相似性！数学之美就在于此嘿嘿嘿~（如推导过程中有错误欢迎广大网友指出！）...

原创 L12 PPO算法

确保策略更新时，"好动作"不会变得太好（最多1.2倍），"坏动作"不会变得太差（最少0.8倍），从而实现。

原创 L4 MC和RM算法

原创 L3 一图搞懂贝尔曼公式

原创 L9 Policy Gradient Method (一)

Policy Gradient 的完整逻辑链：│ 定义目标 J(θ) v̄_π 或 r̄_π↓│ 推导梯度 ∇_θ J(θ) Policy Gradient Theorem│ = E[∇ln π · q_π] (最核心的公式)↓│ 用样本近似梯度 随机梯度上升↓│ θ ← θ + α∇ln π · q_t REINFORCE 算法│ (q_t 用 MC 回报估计)特性说明学什么直接学策略 π(a|s,θ)，不学 Q 值输出动作的概率分布（softmax）目标函数。

原创 L9 Policy Gradient Method (二)

前面学习了 value-based 方法找最优策略 ， 以及 function-based的方法找最优策略，这一节学习policy-based的function化方法。

原创 L7 TD算法对比

│ Q值的来源 = 初始化为0 + 多回合反复试错学习的结果││ 初始: 全0 → 前期: 终点附近先有值 → 后期: 全局收敛││ 我例子中的 2.0, 3.0, 4.0 等是学习过程中的"某个快照"│ 目的是让不同算法的计算差异更直观1%7D%292%7D%29。

原创 L8 Value Function Method

策略: 在每个状态，50%概率向右，50%概率向下（碰壁就原地不动）

原创 强化学习概念

预测：先收集好了一堆数据，在这个数据上进行训练，如人脸识别任务，语音识别任务，模型的预测结果 并不会影响环境；预测任务往往是单轮的；决策：模型得到的结果对环境有影响，决策任务往往是多轮的；状态：策略：Return : reward的累积，一般带有折扣因子Value: 因为Return具有随机性，所以可以求期望，得到的结果就是价值Value。

原创 手撕MoE学习记录

【代码】手撕MoE学习记录

原创 A Survey on Mixture of Experts

文章的核心论点是：混合专家（MoE）是一种通过条件计算来显著扩展模型参数量而不必同比增加计算成本的强大范式，已成为大规模语言模型（LLMs）发展的关键技术之一。​ 本文对MoE在LLMs中的应用进行了系统性的梳理、分类和分析。

原创 MHA、MQA、GQA原理和参数计算方式

通过上面的计算，可以看出，不管是MQA还是GQA 只共享KV的投影矩阵W_K和W_V， 而Q的投影矩阵W_Q不考虑共享呢？如果 K 和 V 是共享的，但 Q 不同，每个头仍然可以得到不同的注意力权重分布，从而得到不同的输出。在 多头注意力机制中，每个头都有自己独立的 W_Q、W_K、W_V，并且头之间不共享。如果 Q 也共用，所有头的注意力计算就完全相同 → 退化成一个头，严重损失表达能力。在自回归生成中，Q 只对应当前要生成的 token（单个位置）。如果 Q 也共享，所有头的输出就一样了。

原创 强化学习之PPO算法学习

具体差值是指的： 下一步以后的未来期望奖励 + 当前步的真实奖励 - 当前步的未来期望奖励 ， 表示的是 当前步的 预期奖励 和 当前步的真实奖励的差值。Critic Loss : 让Critic根据环境给出的真实的Reward值, 不断更新自己的评判系统，这样Critic会评判的越来越准确。Q(s,a) : 输入是状态s和动作a,输出是对 当前和未来总的价值的预测，因此称为状态动作价值函数， 也可以称之为预言家或者评论家。RM可以用已经有的公开的模型，也可以用自己的问答对数据训练。

原创 leetcode hot100 合并区间

【代码】leetcode hot100 合并区间。

原创 滑动窗口题目

其中满足条件用一个函数专门实现一下比较清晰易懂。首先 右边扩大窗口， 直到满足条件。② 左边缩小窗口，直到不满足条件。① 首先收集答案，并更新最优解。跟上面的一道题同样的思路。

原创 快速排序算法详解

【代码】快速排序算法详解。

原创 BEV多模态融合方法

其核心思想是，如何更有效地融合来自​​摄像头（Camera）​​ 和​​激光雷达（LiDAR）​​ 这两种不同传感器的信息，以构建更精确、更可靠的环境地图。现有方法的缺陷​​：当前的主流方法虽然会将摄像头和LiDAR的数据都转换到统一的​​鸟瞰图（Bird‘s-Eye-View, BEV）​​ 空间，但它们的融合策略非常简单（例如直接相加、求平均或简单拼接）。它不是简单地将特征拼接或相加，而是首先通过一个​​注意力权重生成器​​（使用全局平均池化和全连接层），产生一个介于0到1之间的动态权重 w。

原创 MapEX论文详解

文章链接：https://arxiv.org/abs/2311.10517MapEx 的核心思想是​​利用先验地图信息（例如简单地图、带噪声的地图或旧地图）来增强在线高精地图（HD Map）的构建​​，从而提高自动驾驶车辆在复杂环境中的感知能力。

原创 特征空间的转换方法 IPM/LSS/Transformer

单应性变换是指： 对于 同一个平面上的同一个点， 当相机角度发生变化时候， 可以通过一个变换矩阵 进行 image1和image2的相互转换。可以利用相机内外参得到单应性矩阵，得到单应性矩阵，转换到地平面视角， 就得到了BEV视角下的特征。通过估计每一个像素点的深度信息，将PV图转成 视锥空间， 再将视锥空间拍扁即可。

原创 DNDETR深入理解

DN-DETR (DeNoising DETR) 是2022年CVPR会议上一篇高分论文，其核心贡献在于通过引入​​去噪训练 (DeNoising Training)​​ 这一新颖方法，有效解决了原始DETR模型及其变体在训练过程中​​收敛速度慢​​的问题。该方法思路巧妙，且几乎不增加模型推理时的计算开销。

翻译 强化学习基本概念

对U求期望 → Q ： 反映a的好坏对Q求期望 → V ：反映s的好坏对V求期望 → Es(V(S)) ： 反映策略Π的好坏概念总结。

原创 leetcode hot 100 三数之和

参考这个视频，动画做的很清晰 ： https://www.bilibili.com/video/BV1QKZHYhE8A/?

原创 Leetcode hot100 最长连续序列

【代码】Leetcode hot100 最长连续序列。

原创 动态规划题目

dp[i][j] 表示有前i个物品可以选择的情况下，背包最大容量为j的时候，背包能装的最大价值， 如图中dp[2][3] 表示可以选择前两种物品（葡萄和矿泉水）时候，背包容量为3的时候， 能够装的最大值。如有3个物品， 重量为weights= [2,3,4]， 价值 values=[3,5,6], 有一个背包最大能装的重量为6， 那么能装的最大的价值为 3 + 6=9 （选第一个和第三个物品）dp[i] = min(dp[i-square1] , dp[i-square2], …站在当前位置 i,j。

原创 LLaMA-Adapter

论文标题： LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init AttentionarXiv 地址： https://arxiv.org/abs/2303.16199开源代码库： https://github.com/ZrrSkywalker/LLaMA-Adapter。

原创 一文带你吃透LLaMA中的知识点––RoPE/KV-Cache/RMSNorm/SwiGLU/GMQA

SwiGLU 是一个复合激活函数，用于神经网络（尤其是Transformer架构）的前馈网络（FFN/MLP）层中。它可以被看作是三个概念的结合：Swish: 一种平滑且非单调的激活函数，公式为 Swish(x) = x * σ(x) ，其中 σ 是 sigmoid 函数。GLU (Gated Linear Unit): 一种“门控”机制，来源于循环神经网络（RNN），它通过一个门来控制信息能否通过。线性投影: 即标准的矩阵乘法。

原创 LoRA论文详解

论文全称：Low Rank Adaptation of Large Language Models。

原创 QWen2-VL

参考：https://www.bilibili.com/video/BV1ybtBe1EkN?spm_id_from=333.788.videopod.sections&vd_source=a671b6c09bdc87f50b8d9fbbf85c6245论文：Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond语言覆盖范围: 支持英语、中文、欧洲语言、日语、韩

原创 一文带你梳理LSS/DETR3D/FUTR3D/PETR

图中可以看到 从Oc出发，发出一条穿过p(x，y)像素的一条射线，射线上会有无数个对应的世界坐标中的点，而对应的像素坐标只有一个点p(x,y)。通过离散/连续深度分布值建立图像点与3D空间的映射关系，正向过程为2D→3D→BEV，逆向过程为3D→2D（如填充BEV map时采样2D特征）3D参考点投影至图像/点云/雷达数据采样特征，聚合后预测（如雷达点球体区域采样），是一种很好的多模态特征对齐与融合策略。输入环视图像→预测3D参考点→反投影2D采样→优化3D特征→输出3D检测框。

原创 一文搞懂大语言模型中的RMSNorm

总结关键选择点CNN处理图像/网格数据？-> BatchNorm (BN) 通常是首选（效果好）。处理序列数据（文本、语音、时间序列）？-> LayerNorm (LN) 是标准基石（Transformers的基础）。在大型语言模型(LLM)中想追求极致效率？-> RMSNorm 是性能相当且更高效的选择（LLaMa的选择）。Batch Size极小（如1）？-> 避免BN, 选择LN或RMSNorm。

原创 大语言模型的自动驾驶 LMDrive/DriveVLM-Dual

创新点: 提出首个语言引导的闭环端到端驾驶框架LMDrive，整合多模态传感器数据和自然语言指令核心功能: 实时处理"Turn right at next intersection"等导航指令和"Watch for walkers up front"等注意指令问题背景: 现有自动驾驶系统在长尾突发事件和复杂城市场景中表现不佳，缺乏语言理解和人机交互能力数据集贡献: 公开包含64K指令跟随数据片段的数据集和LangAuto基准测试。

原创 UAD详解

初始化k个角度query（与BEV特征区域对应）采样及bev特征图划分。