<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[u010165147的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/u010165147</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u010165147]]></copyright><item><title><![CDATA[为什么预测下一个词元(NTP)有效：从AlphaGo说起]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/161612755</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/161612755</guid><author>u010165147</author><pubDate>Sun, 21 Jun 2026 14:18:46 +0800</pubDate><description><![CDATA[本文探讨了大型语言模型(LLM)的预测机制与AlphaGo算法的相似性。作者指出，LLM的next token prediction(NTP)本质上是基于当前状态预测下一个动作(Next Action Prediction)，其监督学习训练方式与AlphaGo如出一辙，都使用交叉熵损失函数拟合专家数据。文章从信息论角度阐释了预训练的有效性：互联网文本作为高质量语料能显著降低模型熵值。作者认为，LLM和AlphaGo都遵循概率引导的启发式搜索框架，神经网络作为通用启发函数。关键区别在于LLM面临的是无限状态空]]></description><category></category></item><item><title><![CDATA[从通用图灵机视角解析基于Transformer的大模型]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/160846587</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/160846587</guid><author>u010165147</author><pubDate>Sat, 06 Jun 2026 11:27:37 +0800</pubDate><description><![CDATA[本文从图灵机第一性原理出发，重新解析Transformer大语言模型(LLM)的核心机制。首先介绍通用图灵机的基本原理，并以精简的15状态2符号图灵机为例说明其运行机制。随后将LLM形式化为五元组模型，分析其状态转移特性，指出基于KV缓存机制的LLM属于有状态有限状态机。文章重点讨论了LLM状态集扩展与KV缓存状态更新的数学表达，揭示了增量更新的优势与缺陷，包括注意力分散和长度泛化问题。最后介绍了稀疏注意力等优化方法，并提出了离散时间状态方程的描述框架，为理解LLM的计算本质提供了新的理论视角。]]></description><category></category></item><item><title><![CDATA[多维回报与多维价值矢量化预测的PPO算法]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/157358190</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/157358190</guid><author>u010165147</author><pubDate>Sun, 25 Jan 2026 16:29:00 +0800</pubDate><description><![CDATA[本文提出了一种改进强化学习价值预测的方法——多维价值矢量化预测。针对传统标量回报预测存在的问题（如价值预测长尾效应、收敛速度慢等），作者以PPO算法为例，将回报、价值预测和优势函数扩展为多维矢量形式。具体改进包括：1）将奖励和价值函数改为多维输出；2）采用加权方式计算多维价值损失函数；3）对多维优势函数进行加权求和。该方法虽改动较小，但能提升模型性能，为强化学习中的回报设计提供了新视角。作者指出该思路在工程应用中具有一定潜力，但尚未进行系统消融实验。]]></description><category></category></item><item><title><![CDATA[积分法对IMU(陀螺仪&加速度计) LSB(Least Significant Bit)验证]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/149770997</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/149770997</guid><author>u010165147</author><pubDate>Thu, 13 Nov 2025 18:21:44 +0800</pubDate><description><![CDATA[本文介绍了验证IMU（陀螺仪和加速度计）LSB（最低有效位）正确性的积分测试方法。通过角速度和加速度的数值积分，分别构建角度积分和位置积分算法。测试时，让设备绕z轴旋转固定角度或沿水平轴移动固定距离，检查积分结果与实际值的误差是否在5%以内。该方法使用C++代码实现一维标量积分，采样间隔dt作为积分步长，通过多次5-20秒的短时测试即可验证IMU的最小刻度精度。文中特别指出实际IMU与说明书LSB不匹配可能导致VIO算法位姿发散的问题。]]></description><category></category></item><item><title><![CDATA[打开神经网络的黑箱（三） 卷积神经网络(CNN)的模型逻辑]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/129778026</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/129778026</guid><author>u010165147</author><pubDate>Wed, 24 Sep 2025 08:56:52 +0800</pubDate><description><![CDATA[摘要 本文深入解析了卷积神经网络（CNN）的模型逻辑与空间划分原理。文章指出CNN本质上是多层感知机（MLP）的推广，基于局部MLP实现特征提取。通过分析超立方体归一化、局部空间划分、子网络结构等核心概念，揭示了CNN中卷积层、池化层等组件的数学本质。特别探讨了感受野与最小网络结构的关系，并解释了最大池化层抑制噪声的作用机制。文章为理解CNN的工作原理提供了理论支撑，并指出中间层划分的随机性源于反向传播的全局优化特性。]]></description><category></category></item><item><title><![CDATA[betaflight configurator 如何正确烧写飞控]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/150920023</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/150920023</guid><author>u010165147</author><pubDate>Wed, 27 Aug 2025 11:48:09 +0800</pubDate><description><![CDATA[这篇文章记录了在Linux系统下使用Betaflight Configurator烧写FPV无人机飞控的详细步骤。主要内容包括：配置udev规则解决权限问题，将用户加入dialout组，以root权限运行配置工具，以及关键的操作指南（如启用No reboot sequence和Full chip erase选项，通过BOOT按钮进入DFU模式等）。文章还提供了相关命令和参考文档链接，帮助用户顺利完成飞控固件烧写。]]></description><category></category></item><item><title><![CDATA[深入理解Self-Attention - 原理与等价表示]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/142711295</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/142711295</guid><author>u010165147</author><pubDate>Mon, 24 Feb 2025 21:41:15 +0800</pubDate><description><![CDATA[很多文章或论文已经很好的解释了神经网络中self-attention的原理，但是个人觉得还是有其他可解释的方面，主要原因是很多解释都是面向过程的，只解释了它是什么样的，这篇文章主要从其等价形式解释其原理。我们通过self-attetion的等价形式AttentionQKVsoftmax1dkxxT⊙WVAttentionQKVsoftmaxdk​​1​xxT⊙WV。]]></description><category></category></item><item><title><![CDATA[TopK activation function（TopK激活函数）]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/139993233</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/139993233</guid><author>u010165147</author><pubDate>Thu, 27 Jun 2024 19:20:00 +0800</pubDate><description><![CDATA[最近看了一篇关于topk激活函数的文章[1]就顺便实现了一下，测试了一下收敛、运行速度和最后的精度基本和ReLU差别不大，topk激活函数有一个优点就是激活的节点数是确定的，不会产生死区。顺便也实现了基于topk的池化，这个池化速度较慢。]]></description><category></category></item><item><title><![CDATA[从函数逼近角度理解神经网络、残差连接与激活函数]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/139809233</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/139809233</guid><author>u010165147</author><pubDate>Sun, 23 Jun 2024 19:57:02 +0800</pubDate><description><![CDATA[最近思考激活函数的时候，突然想到神经网络中残差连接是不是和函数的泰勒展开很像，尤其是在激活函数fxx2f(x)=x^2fxx2时(这个激活函数想法来源于fxReLU2x3fxReLU2x3)，所以验证了一下就顺便写下来了，本文抛砖引玉，如果有建议或更好的想法可以写到评论区。]]></description><category></category></item><item><title><![CDATA[深度神经网络的数学原理：基于超平面、半空间与线性区域的表示]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/133440303</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/133440303</guid><author>u010165147</author><pubDate>Sun, 29 Oct 2023 17:13:47 +0800</pubDate><description><![CDATA[以前的文章主要描述了神经网络，即多层感知机、全连接模型的运行原理，还是以实验为主，数学描述为辅的方式，这篇文章以纯数学的视角来描述神经网络的运行原理，主要以前馈过程为主（反向传播的动力学过程还是比较复杂，正向过程还未完全研究清楚，暂时还未考虑）。通过本篇文章，希望大家能理解神经网络的数学原理，如有错误请不吝指出。]]></description><category></category></item><item><title><![CDATA[详解Softmax、Maxout的性质与Self-Attention初步解析]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/131161598</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/131161598</guid><author>u010165147</author><pubDate>Sun, 18 Jun 2023 18:53:04 +0800</pubDate><description><![CDATA[最近研究超平面排列(Hyperplane Arrangement)问题的时候，发现ReLU有其缺陷，即举例来说，ReLU 无法使用单一的超平面将分离的所有数据，完整的输出，即只会输出半个空间映射的数据，而另一半空间的数据被置为0;ReLU 要完整的映射输入空间的所有数据需要至少3个节点才能办到，比如在2维的输入空间上，当只有2个节点时构成的超平面排列将输入空间划分4个区域，其中其中一定有一个区域全部输出为[0,0]即所谓的死区(Dead Region)，死区在ReLU的网络中是普遍问题。]]></description><category></category></item><item><title><![CDATA[深度学习训练中为什么要将图片随机剪裁（Random Crop）]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/130779802</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/130779802</guid><author>u010165147</author><pubDate>Sat, 20 May 2023 13:15:17 +0800</pubDate><description><![CDATA[这篇文章是用Markdown重写了原来的文章。图像分类中，深度学习训练时将图片随机剪裁（random crop）已经成为很普遍的数据扩充（data augmentation）方法，随机剪裁不但提高了模型精度，也增强了模型稳定性，但是它如此有效的核心原因是什么呢？仅仅是因为数据扩充吗？这个是下面我们需要研究的问题。]]></description><category></category></item><item><title><![CDATA[多层感知机(MLP)与二叉空间分割树(BSP Tree)的关系]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/130698630</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/130698630</guid><author>u010165147</author><pubDate>Sat, 20 May 2023 11:14:29 +0800</pubDate><description><![CDATA[最近发现了一个传统算法，非常适合描述多层感知机（Multi-Layer Perceptron，MLP）的模型逻辑，其算法逻辑也非常清晰简单，所以在这里再对比一下，方便大家更容易理解多层感知机的内容，这篇文章不会写复杂的数学公式。想从数学方面去更多的理解多层感知机的内容可以查看往期的文章。点到为止，这篇文章不求复杂只简单概述模型逻辑，就是说明二叉空间分割树的算法逻辑和多层感知机是完全一致的。]]></description><category></category></item><item><title><![CDATA[理解神经网络中激活函数的作用]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/130665007</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/130665007</guid><author>u010165147</author><pubDate>Sun, 14 May 2023 10:21:24 +0800</pubDate><description><![CDATA[理解激活函数的作用能更好的解释神经网络的运行逻辑，在以前的章节中只简单概述了激活函数的作用，但是其实结论是比较草率的，这篇文章希望能谨慎的证明这些结论。]]></description><category></category></item><item><title><![CDATA[打开神经网络的黑箱（二） 多层感知机（MLP）的空间划分与编码逻辑]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/128826516</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/128826516</guid><author>u010165147</author><pubDate>Sun, 26 Mar 2023 17:41:19 +0800</pubDate><description><![CDATA[上一篇文章解析了单层全连接分类模型的（输入）空间划分（Space Partitioning）与编码逻辑或数学原理，这篇文章将主要是解析多层感知机（Multi-Layer Perceptron，MLP）或多层全连接层构成的模型的空间划分与编码逻辑。多层感知机与单层全连接分类模型较大的区别在于，隐藏层的空间划分与编码并不遵循理想情况下使得每一个线性区域（Linear Regions）只包含单个类别的数据这样的逻辑，所以会复杂一些，基础的空间划分与编码逻辑可参考上一篇文章，本文将不再赘述。]]></description><category></category></item><item><title><![CDATA[打开神经网络的黑箱（一） 全连接模型的空间划分与编码逻辑]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/128507539</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/128507539</guid><author>u010165147</author><pubDate>Wed, 01 Feb 2023 18:33:53 +0800</pubDate><description><![CDATA[几年前就想写这篇文章，但是在解析神经网络的数学原理问题上断断续续，加上个人能力有限，很多问题并没有研究的很明白，以及神经网络本身高维问题的复杂性，导致这个问题的理解也是片面的。个人希望在这篇文章里抛砖引玉，让大家能更深入理解神经网络内部的基础数学原理与编码逻辑，启发大家后面的工作，如有错误请不吝啬指出。本文不会过多的介绍梯度下降或反向传播等参数更新的原理或动力学过程，而是以前向过程（Feed Forward）作为本文的重点。]]></description><category></category></item><item><title><![CDATA[目标检测模型、卷积网络的感受野与分形特征]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/127712206</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/127712206</guid><author>u010165147</author><pubDate>Sun, 13 Nov 2022 10:00:22 +0800</pubDate><description><![CDATA[最近几年深度学习的快速发展对目标检测（Object Detection）领域也产生了巨大的影响，各种SOTA（State of Art）的模型也层出不穷，包括但不限于Faster-RCNN，YOLO，SSD，FCOS等等，很多时候我们看论文和模型容易陷入其复杂的细节之中，而得不到全局的视野，尤其是像Yolo系列各种堆版本也是看的眼花缭乱。事物的发展也许就是这样的吧，刚开始都是各种复杂，越到后面越能看到基本原理，也越能理解事物本身。]]></description><category></category></item><item><title><![CDATA[特斯拉自动驾驶中的 OccupancyNetworks & NeRFs]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/127141263</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/127141263</guid><author>u010165147</author><pubDate>Sun, 02 Oct 2022 12:26:49 +0800</pubDate><description><![CDATA[Occupancy Networks去寻找Occupancy Volumes或Occupancy Grid，即三维空间中被物体占据的格点或空间，这个算法其实能很好的规避Corner Case问题
Neural Radiance Fields ，NeRFs 即神经辐射场，这个算法和Occupancy Grid一脉相承，都是在解决如何准确的建模我们所处的三维空间]]></description><category></category></item><item><title><![CDATA[无人机中的坐标系、旋转矩阵与相机姿态计算]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/126892676</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/126892676</guid><author>u010165147</author><pubDate>Sun, 18 Sep 2022 17:19:48 +0800</pubDate><description><![CDATA[球坐标系是三维坐标系中的一种，在无人机中一般使用球坐标系来表示相机姿态，相机姿态的坐标是相对于无人机的，而无人机的飞行姿态则是相对于大地坐标系的。在无人机飞行中，无人机平台由于飞行运动及气流运动等因素，会影响无人机的飞行姿态，这时搭载的相机姿态相对大地坐标系会发生变化，需要加入无人机姿态去计算修正，以便于更准确计算相机的观测位置。以上需要注意的是偏航角与其他角不同，偏航角的旋转是整个坐标系，即将无人机坐标系转换为大地坐标系，这里没有使用位移量，需要时加上经纬度的偏移。合并旋转后的三维度旋转矩阵。]]></description><category></category></item><item><title><![CDATA[海康云台摄像机 ISAPI 的签名机制与语音传输]]></title><link>https://blog.youkuaiyun.com/u010165147/article/details/124122277</link><guid>https://blog.youkuaiyun.com/u010165147/article/details/124122277</guid><author>u010165147</author><pubDate>Sun, 24 Apr 2022 08:59:13 +0800</pubDate><description><![CDATA[由于海康HikVision (Hik)平台摄像机的SDK不支持Arm Linux平台，为了跨平台的兼容性，只能使用ISAPI作为控制或接收相机数据的方式，ISAPI是Hik的一套HTTP通信协议，这里不过多介绍]]></description><category></category></item></channel></rss>