墨门

1 问题描述最近我在调参时，想到一个问题：“损失函数loss乘以正数因子a是否等价于学习率lr乘以a呢？”2 解答对于某个给定的损失函数loss，loss乘以正数因子a等价于学习率lr乘以a。3 证明（下面我们来对这个问题进行证明）为了简化问题，我们假设该模型为最简单的逻辑回归模型，即：hθ(x)=11+e−θTxh_{\boldsymbol{\theta}}\left ( x \right )=\frac{1}{1 + e^{-\boldsymbol{\theta}^T\boldsymbo

1 出现nan的理论分析从本质上来说，“出现nan”现象主要是因为数值超出当前数据类型的表示范围，其含义是指“Not a Number”，常在浮点数运算中出现；2 可能引起nan的原因学习过大，出现梯度爆炸，从而导致loss过大，使得数值溢出出现nan；在运算过程中，由于出现“除0”运算，导致出现nan；3 调试方法判断loss值是否出现nan：torch.isnan(loss)...............

1 前言防止梯度消失是深层神经网络可以训练的原因之一，也是深度学习技术发展的基石；2 归一化——“中心化和白化”归一化是深度学习中很重要的预处理步骤，其目的是让“数据的分布”，具体来说，也就是均值为0、方差为1；今天蔡老师在讲述这个内容时描述的是“中心化和白化”，我觉得这个描述也是挺好的，其中“中心化”就表达了均值为1的意思，“白化”就表达了“希望分布的形状尽可能接近一个大圆面”的意思；3 BN——批归一化我将BN放在了归一化的后面，因为我觉得这两者实现的功能是是有共同之处的，归一化在预处理

1 概述由于南溪只有一块2080Ti，所以暂时不会考虑用强化学习的方法来做~南溪目前想要学习的超参数搜索算法有：网格搜索随机搜索贝叶斯搜索粒子群算法进化算法遗传算法（7. 强化学习）2 网格搜索——Grid Search网格搜索是我们需要尝试的第一种超参数搜索算法~算法的思路是这样的，初始设置：搜索空间[10−6,1][10^{-6},1][10−6,1]；设定初始的搜索种子，（来自原始论文或者默认值）；计算种子的自然指数；将原始的搜索空间计算对应的自然指数的值域；

Keywords: loss1 loss的作用在南溪看来，loss函数是对目标target和预测prediction之间的一种距离度量的公式；2 loss函数的设计原则2.1 自身不变性——“对称性”自身不变性指的是：当 prediction = target时，loss函数的值为0；在数学上，我们可以认为是映射LLL的LLL函数矩阵为对称矩阵；（这一点是从蔡老师对“SVM核函数有效性的证明”的论述中学习到的）...........................

1 模型的快速验证1.1 确定模型是可以收敛的在刚开始调试的时候，可能难以确定模型是否收敛，这时候可以在调试的时候，适当地增加学习率的数量级，看看模型在前几次迭代的时候loss是否会随着迭代次数的增加呈10倍左右的下降，如果观察到loss的值可以“10倍左右”可见的速度下降，则说明模型是可以收敛的，此时loss函数的设计大概率是正常的，可以将学习率调回正常值继续进行测试；...

1 loss的作用在南溪看来，loss函数是对目标target和预测prediction之间的一种距离度量的公式；2 loss函数的设计原则2.1 自身不变性自身不变性指的是：当 prediction = target时，loss函数的值为0；

2 备注2.1 请问一下，使用PaddleSlim进行蒸馏的话，teacher模型的选择有什么要求吗，是不是跟student“长得越像”越好？这是飞桨老师们的回复：

1 卷积通道裁剪

1 南溪关注的目标检测任务基于限位框的目标检测实例分割

Mixup是一种样本内插的增广技术；

在终端中输入，nvidia-smi

1 致谢感谢网友“青松愉快”的帮助，原文链接如下：https://blog.youkuaiyun.com/fly_time2012/article/details/895392791 前言这几天在看深度神经网络的结构时，想到一个问题，激活函数ReLU在x>=0的时候是条线，为什么什么是非线性函数？2 非线性函数的定义非线性函数的定义为：一阶导数不恒为常数的函数。...

（由于Nesterov方法有多种不同的实现方法，这里我们采用的是PyTorch的官方文档中给出的公式，这个公式是我根据PyTorch中原始公式进行相应扩展得出的）其公式如下：vt+1=μ∗vt+α∗gtpt+1=pt−lr∗(vt+1+α∗gt)v_{t+1} = \mu*v_{t} + \alpha*g_{t}\\ p_{t+1} = p_t - lr*(v_{t+1} + \alpha...

2019年12月4日：MTCNN——人脸检测和关键回归的CNN级联模型baseline1:P-Net：lr = 0.001, batch = 256Q-Net：lr = 0.001, batch = 128O-Net：lr = 0.001, batch = 64mAP = 0.8055（出现1000个FP时，对应的recall值）baselin2:（将batch_size全部改成...

1 阅读代码需要了解的内容模型检测的过程；模型训练的过程；网络的具体结构：loss函数的构成；网络推理的流程；网络的超参数设置：lr和batch_size；数据的增广操作；...

1 致谢感谢吴恩达老师的教导！2 前言今天在学习动物多分类的代码，需要调参，loss从第二个epoch开始就不在下降了，后来发现是学习率的问题，学习率过大，导致loss难以下降，后来陈助教建议我调小了学习率，果然效果就好多了；于是我复习了一下吴教授当时在将机器学习的时候，建议的学习率，他是这样说的，我记得他好像提过指数函数，于是就感觉这个学习率的建议范围跟指数函数有关，于是就想...

Keywords: yaml 常见1 致谢感谢陈助教的帮助！2 前言今天想通过画图展现一下学习参考值的变化情况，在网上看了一下，需要使用plt包，不过又忘了plt是做什么用的了，于是想要记录一下，写一下关于常用Python包的笔记~3 常用Python包的学习笔记plt包：import matplotlib.pyplot as plt用来进行画图的包。...

1 致谢感谢赵老师的教导！

1 致谢最近谷歌关于TensorFlow的文档写的还是不错的，Youki受到了一定的启发，这里表示一下感谢～2 前言今天在学习R2CNN～代码的README中说到需要安装TensorFlow，于是Youki就查阅了一下官方安装教程，写的还是不错的～3 安装版本4 兼容性信息TensorFlow-1.15.0：官方发布的TensorFlow-1.15.0安装包不支持1...

1 致谢感谢熊帅哥的解答，熊帅哥还是挺好的，我刚开始学装机，真的有很多不懂，他虽然是卖显卡的，但是还是跟我讲了很多，感觉学到了很多知识∼2 前言今天在学 Faster RCNN算法∼因为要做深度学习算法，所以需要自己组装一台GPU服务器∼感觉过程有点艰辛呀，所以还是写篇日记记录一下∼3 系统配置GPU选择NVIDIA显卡。CPU选择Intel。选择CPU的时候，我一直在纠结是...

1 致谢感谢杨老师的教导！2 在Python中求解函数的解析表达式首先写出函数的表达式，然后使用SymPy函数库求解函数偏导数的解析表达式（符号微分），然后再使用SymPy库将求得的符号微分转换为对应的Python代码放入Pytorch代码中使用。...

1 前言今天在学习K-means算法~自从接触深度学习开始，我一直在思考一个问题，NN网络是否可以拟合任何一种函数，我想答案是肯定的，DenseNet的出现就说明了这一点。2 NN网络是否可以拟合任何一种函数从理论上来说，是肯定的，首先我们的理论基础就是泰勒公式，​（听田老师说，泰勒公式是有条件的，这个我之前的确不太记得了，现在我们也再来复习一下），我们查阅了一下来自同济大学的高等数...

1 致谢感谢网友ScorpioLu的帮助，他写的博文对我理解Adaboost算法有启发和帮助的效果~原文链接如下：https://www.cnblogs.com/ScorpioLu/p/8295990.html2 前言今天在学习Adaboost算法~3 Adaboost算法介绍Adaboost算法是一种分类算法。他也是一种迭代算法，其核心思想是针对同一个训练集训练不...

1 致谢感谢网友没有人喜欢一个人、Young和无飞天下提供的帮助，原文链接如下：https://blog.youkuaiyun.com/u010618587/article/details/82940528https://www.cnblogs.com/xiaojianliu/p/9286066.htmlhttps://jingyan.baidu.com/article/3065b3b65...

1 致谢感谢网友NateHuang的帮助，原文链接如下：https://www.imooc.com/article/359002 前言今天在动物多分类~在赵老师给的原始代码中，动物图片的标签是以连续的数字给出的，例如：“Stage1 中需要将哺乳纲、鸟纲的数据分别标为0，1 作为训练标签；Stage2 中将兔子、老鼠、鸡的数据分别用0，1，2 作为标签”，而陈助教跟我们说，这种表示方法其...

1 致谢感谢赵老师的讲授！2 前言今天在学习Pytorch~记得Johnson助教好像讲过有一个优化算法最好用的，不过忘了是哪一个了，然后就回顾了一下赵老师讲课的视频；3 最常用的Optimization算法是Adam方法最常用的Optimization算法是Adam方法。4 常见的Optimization算法4.1 SGD方法就是最普通的随机梯度下降方法。4.2 SGD wit...

1 前言今天在安装GPU服务器的Ubuntu系统~2 问题描述在成功安装系统后，Youki也成功安装了NVIDIA显卡的驱动，此时系统的显示恢复正常了，（分辨率变得正常了，显示也变得清晰了），但是Youki还是发现一个问题，就是系统无法检测到 Intel CPU自带的核心显卡，这个是怎么检测到的呢？我们是用如下的命令来输出显卡信息，lspci -k | grep -A 2...

不知道目标检测有没有切片学习，就是把目标图像切成小块进行学习的方法？ 其实深度学习，就是线性函数和非线性函数的多层嵌套，有人证明过深度学习的网络可以拟合几乎任何函数吗？ loss函数的正则化是不是基于一个前提：那就是所用的参数大多数都是与模型相关度很高的参数？...