weixin_45415929的博客

原创 什么是Git

Git是一个用来做版本控制的工具。

原创 【问题思考总结】什么是复杂问题

通过调研P问题，NP问题，以及NPC问题，我们了解到，NPC问题是复杂问题，如果在多项式时间内解决NPC问题，那么P=NP，这是信息学的巅峰。

原创 【问题思考总结】电力调度的发电量和用电量一定相等吗？

因此，电力调度的发电量与用电量一定相等，同时，对于电网中负荷的波动，有三种响应方式（1. 惯性响应（毫秒级）2. 一次调频（秒级）3. 二次调频（分钟集））ps. 元宝文字：第一层：惯性响应（毫秒级）：当1GW 大负荷突然接入，频率瞬间下降。这时候全靠所有发电机的旋转动能撑着，但动能是有限的，就像你推一个大飞轮，刚开始推不动，但频率持续往下掉。第二层：一次调频（秒级）：发电机调速器感知到频率下降，自动开大阀门增加出力。但这层调节能力有限（通常只有机组额定容量的5%~10%）。

原创 大模型断点续训流程

② 优化器状态 AdamW 内部存了每个参数的"惯性/动量"。不恢复 = 优化器从零开始"找感觉"，续训后 loss 会抖一下、走弯路。你的直觉主干是对的，只是"加载"这一步要加载的不止模型参数，还有优化器状态和进度，这样才能"无缝接上"，就像训练从没中断过一样。这就是为什么续训存档（500~700M）比纯权重文件（130M）大得多——多出来的主要就是那个"优化器状态"。加载[模型参数 + 优化器状态 + 进度] → 跳过已训过的数据 → 从断点那一步接着前向/反向传播。所以完整的"续训"是。

原创 大模型训练中的Batch size对训练结果有什么影响？以及对GPU利用率有影响嘛？

在学习大模型训练的过程中，我想到了这一点，因为我记得batch size的大小好像会影响训练结果，但是记不太清了，因此，展开了一系列的调研。

原创 蒙特卡洛树搜索浅思

Q：我的意思是，比如树现在只有四个节点，那么在叶子节点上进行模拟，这个模拟不改变树的形状，只改变价值？比如下象棋，这个的意思可能就是，比如第一步有很多很多种可能，上将，上车，等等，但是第一次比如我就上将，然后在这一步中，模拟（可能几百步），但是最后是只改变了这个节点的价值，而不改变树？模拟阶段就是：从"上将"这个节点出发，双方随机或按策略走完剩下几百步，得到一个输赢结果。把节点加到树上，树的形状完全不变，只是把这个输赢结果折算成分数，更新"上将"这个节点的 Q 值。选择 → 不改变树，只是在树里走了一遍。

原创 强化学习历史之我见（小白撰写）

A2：价值网络，走了一步得到了-1的奖励，立即更新（知道这么走是坏的）基于策略学习，需要把一条路都走完，才能知道奖励是多少。我的直觉想法是，给定一个状态，这个策略是一个概率曲线，也就是说，不离散化动作，（其实也算一种价值？对于每一个动作，都要选择一个Q值（DQN中用Value网络，Q网络用表格），那么很显然，只能有限个动作，不然所有动作太多了，每个都算一个值算不过来了。与此相对的是基于策略的思想，他不学价值（每个动作的价值是多少），只学策略（给定状态，直觉输出），叫Actor。他们的一轮学习是什么样的？

原创 拉格朗日乘子法针对传统代入求解的优势

原创 训练集，验证集，测试集的区别

训练集，验证集，测试集是要分开的，不然，训练集虽然练好了，但是验证+测试的时候，我回去调参，虽然效果好了，但是你不知道是否恰好拟合了这个数据。也就是说，训练集是机器直接拟合（降低loss），验证集是人为间接拟合（看到acc不好，回头玄学调参），测试集是完全裸考，第一次见，也是唯一一次。当训练集 Loss 还在下降，但验证集 Loss 开始回升时，这就触发了。此时我们认为模型已经开始“背题”了，应该停在验证集表现最好的那一刻。

原创 PnP（Plug-and-Play）即插即用

为什么我的鼠标刚刚插上就能用呢？它本来是一个鼠标，里面可能有些芯片，也没有电池，为什么插到电脑上，电脑里的硬件（软件）就可以和鼠标这个外设交互，甚至鼠标移动都会在屏幕上显示出来呢？

原创 什么是熵？【图文并茂】

熵，我们都知道是描述混乱程度的一个东东。我之前的理解大概就是，熵越大，混乱程度越高，熵越小，越稳定。不过，是否有什么更加合理的解释呢？毕竟，从小到大，我们只听过这一种说法，接下来让我们看看，是否有其他的解释。我们来一个新的解释，就是，。感觉熵就像是一个信息量的含义一样，比如这个情况，可以看到扔一枚硬币的熵就是1bit。8个情况，显然就是3bit。我们可以总结，如果是，那么M种情况就需要log2M个bit。不过，？

原创 【小白系列】KL散度是什么？【图文并茂】

首先，我们来想一个问题，如果有两种，我们想判断这两种分布的相似度，我们怎么判断？如果有一种方法，能够获得这两种分布的具体信息，比如这种分布是：高斯分布，泊松分布，那自然最好。然而，我们无法得知，我们，就是。那么我们就开始观测，可以看到，假设我们有一个标准硬币coin1，一个非标准硬币coin2，标准硬币当然是头面和尾面概率各是0.5，而非标准硬币的头面是0.55，尾面是0.45，下面是他们的分布图，可以看到，投掷了12次硬币，他们的观测值，这些，似乎并，因此，我们直觉上感觉，这两个硬币的分布是相同的。

原创 【链式法则】神经网络中求导时w既是常数也是自变量的辨析（能否对常数求导？）

总的来说，这个w究竟是常数还是自变量，要看这个w是否是现在正在更新，如果只是中间的一个参数，那么就把他视作常数。但是，如果他正在更新，那么就要把他视作自变量，因为我们要对他进行更新。楼主机器学习小白，如有不对，还望各位不吝指正！

原创 【问题思考】为什么SVM中的w和超平面是垂直的？【SVM】【gemini生成】

理解为什么与超平面垂直，是理解 SVM 几何性质的关键。我们可以从数学和直观两个角度来解释。

原创 【问题思考】为什么需要文件后缀？（gemini完成）

您的这个问题问得很好，它涉及到了文件系统和操作系统的基础知识。是的，您完全正确。文件名的后缀（比如.txt.jpg.py.m）主要是为了帮助操作系统和用户识别文件的类型，从而选择合适的应用程序来打开和处理它。

原创 【问题思考】二分查找对比三分查找（任意点查找）的优越性（熵的角度）【gemini完成】

这是一个非常深刻的问题，它将算法的优越性与信息论的基本原理——熵——联系在了一起。让我们通过一个具体的例子来精确计算这一点。

原创 【问题思考总结】CART树如何剪枝？从CART树的生成到剪枝以及为什么CTt一定小于Ct？【图文】

我想的太多了，总的来说！这里生成算法和剪枝算法都是一样的，生成的时候是一个基尼系数递减的过程，剪枝的时候是基尼系数递增的过程，但是因为有了α的存在，针对于不同的α，生成的树是不同的，对应了不同的对模型复杂度的重视程度。我现在知道的大概就是这些！我觉得这样的说法是大概正确的，在我的认知里，如果里面哪里有错误，恳请不吝赐教！

原创 关于回归决策树CART生成算法中的最优化算法详解

首先，一共比如有M个特征，N个样本，对于每一个特征j，遍历其中的N个样本，得到N个值中，最小的值，作为这个特征的最优切分点，而其中的c1，c2是可以直接得到的。然后，遍历这M个特征，得到M个值，取其中最小的值对应的j和s作为最优切分变量和最优切分点分点。

原创 【问题思考总结】两个向量之和的二范数公式是什么？

不过似乎还有点懵，留个帖子，后续欢迎大家前来讨论，我们一起进步。

原创 为什么要有正则化项？

也就是说，正则化项实际上就描述了模型的参数量，因此，正则化项可以帮助模型减少复杂度（如果复杂度过高，正则项过大，损失函数大，将会被优化）。因为模型复杂度越高，越容易过拟合。过拟合就是由于模型参数量过大，引起的。常常听说正则化项，L1,L2范数，却从未知晓，为何要有正则化项。实际上，正则化的项描述了模型的复杂度。为什么要描述模型复杂度？

原创 从比特到彩色图像到光盘

而光盘，刻录一个bit大约长度是1微米，而一个轨道就按10厘米来说，一个轨道就可以刻录100000个bit，而光盘的轨道间的间距是1.6微米，也就是说，一个光盘有上万个轨道，那么一个轨道可以刻录12.5KB，1万个轨道就可以刻录125MB，那么小小的一个光盘，可以记录几十张精美的图片，多么神奇！一张图片比如有1000*1000个像素点，每个像素点有三个通道，每个通道有256个状态，一个像素点就是3B（24bit），那么一张图片就是3MB这么算。由01序列，我们做出了一张图片！

原创 干扰功率和数据功率

在信号实际传播过程中，常常会由于路径损耗和多径衰落等因素影响，受到减益，都是，值越小，那么影响越小。实际功率低于参考功率就是负数。

原创 研究行业可以去哪里寻找报告

研究行业可以去哪里寻找报告

原创 频谱和频段的区别，以调频广播举例说明

频谱与频段以广播举例说明

原创 凸函数和凹函数的定义怎么来的？

凹凸函数的定义

原创 香农定理及其在实践中的应用

香农定理

原创 HkHHk，矩阵乘以自己的共轭在通信领域的应用

HkHHk

原创 什么是瑞利衰落系数

瑞利衰落

原创 MRT和MBF的区别

MRT

原创 前处理SIR和后处理SIR的区别

后处理SIR通常比前处理SIR更高，因为接收端的处理可以增强信号，并抑制干扰。

原创 什么是SVD

SVD

原创 信干比SIR和信噪比SNR的区别

SIR和SNR的区别

原创 MIMO的多种模式（STBC、OLSM、CLSM、MBF、MRT）

MIMO的多种模式（STBC、OLSM、CLSM、MBF、MRT）

原创 什么是蜂窝网络架构？

蜂窝网络

原创 什么是MIMO网络架构

MIMO技术

原创 URLLC和eMBB对比

URLLC

原创 什么是非凸优化问题？

在信号处理中，许多信号恢复和图像处理问题也是非凸优化问题。在控制理论中，许多最优控制问题也是非凸的。在运筹学中，许多生产计划和资源分配问题也是非凸的。，因为非凸问题可能存在多个局部最优解，而这些局部最优解不一定等于全局最优解。非凸优化模型是指在优化问题中，目标函数或约束条件不满足凸性条件的模型。：如梯度下降法、牛顿法、拟牛顿法等，这些算法通常只能找到局部最优解，但计算效率较高。：如粒子群优化、蚁群优化等，这些算法通过模拟自然现象来寻找问题的解。：将非凸问题转化为凸问题来求解，例如通过线性化、二次化等方法。

原创 三级服务器的简单辨析

三级服务器的简单辨析

原创 什么是经验回放？

强化学习

原创 常用强化学习算法，衍生关系，核心思想，改进方法等

请以表格形式给出强化学习算法的对比总结，包含优缺点等，有什么问题，别的算法怎么解决的，哪个算法是哪个算法衍生的，包含：Q-learning，DQN，DDQN，Dueling DDQN，A3C，PPO等