TEDDY的博客

YOLO v2 也即 YOLO 9000YOLO v2改进的地方0. 主干网络从GoogleNet 换成性能更好的Darknet19.提取特征更细粒度。1. YOLO v2受到faster rcnn的启发，引入了anchor。（anchor是通过在训练集上K-Means方法得到的）2. 引入BN层，训练更快，更稳定，取代dropout防止过拟合，同时提升了mAP值。参考13. 预训练模型先在224×224数据集上训练，最后在448×448数据集上训练10轮，使模型适应检测的448×448

windows下查看CUDA版本和CUDNN版本

什么是过拟合？过拟合也就是你的模型泛化能力差，在训练集上效果很好，但是在验证集和测试集或者实际场合里效果差的表现。怎么判断是不是过拟合？训练时准确率高，验证时准确率低。过拟合产生的原因：1.神经网络的学习能力过强，复杂度过高2.训练时间太久3.激活函数不合适4.数据量太少5.数据集样本不够丰富，或者存在标签失真，不合理，或者样本存在脏数据解决办法:1.降低模型复杂度，dropout2.即时停止3.正则化4.数据增强偏差和方差Error = Bias .

resnet 解决了随着CNN网络深度的加深，网络性能退化的一个问题。具体解释见 （11：20）：飞桨开发者live：手把手教你玩转工业质检_哔哩哔哩_bilibili一分钟带你认识残差模块对百度vd模型解读（14：40）：飞桨开发者live：手把手教你玩转工业质检_哔哩哔哩_bilibili很好的解释：深度学习经典网络（4）ResNet深度残差网络结构详解_青衫憶笙-优快云博客_resnet网络结构论文翻译中文版2. 怎么解决退化问题？...

计算机视觉机器视觉给订阅读者的一封信谷棵的专栏图像分类目标检测图像分割机器学习送给订阅我专栏同学们一封信杨鑫newlife的专栏神经网络编程语言C#https://blog.youkuaiyun.com/gukewee/category_6876455.htmlpythonC++...

关于梯度的概念梯度是微积分中一个很重要的概念，之前提到过梯度的意义在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率 在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向。这也就说明了为什么我们需要千方百计的求取梯度！我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的方

【Faster RCNN】损失函数理解

一些轻量级的网络，如mobilenet中，会有深度可分离卷积depthwise separable convolution，由depthwise(DW)和pointwise(PW)两个部分结合起来，用来提取特征feature map相比常规的卷积操作，其参数数量和运算成本比较低常规卷积操作对于一张5×5像素、三通道（shape为5×5×3），经过3×3卷积核的卷积层（假设输出通道数为4，则卷积核shape为3×3×3×4，最终输出4个Feature Map，如果有same padding则尺寸与

8:55由于遗忘门的控制，LSTM神经细胞可以保存很久以前的信息，RNN就不行。由于输入门的控制，它可以保证无关紧要的信息输入细胞LSTM的输出，是由输出门，细胞状态共同决定的。...

卷积神经网络里的卷积核到底是怎么提取图像特征，然后交给 SVM或者全连接层去训练一个分类或者边框回归器的https://www.sohu.com/a/277526497_100007727视频如下：https://www.bilibili.com/video/BV1af4y1m7iL?p=3作者其他的视频：https://space.bilibili.com/18161609...

一，wandb目前很多大公司已经发布了各自的自动机器学习平台，让工程师把更多精力放在优化策略上，而不是在准备数据、数据可视化方面。wandb有4项核心功能：看板：跟踪训练过程，给出可视化结果 报告：保存和共享训练过程中一些细节、有价值的信息 调优：使用超参数调优来优化你训练的模型 工具：数据集和模型版本化也就是说，wandb并不单纯的是一款数据可视化工具。它具有更为强大的模型和数据版本管理。此外，还可以对你训练的模型进行调优。wandb另外一大亮点的就是强大的兼容性，它能够和Jupy

来源如此过拟合的表现：在训练集上loss很小，但在验证集和测试集上精度不高原因：参数量和数据量的极度不平衡，没有学习到数据通用特征，学习到些数据的特殊特征，导致泛化能力弱。如白天鹅和黑天鹅，仅用白天鹅训练，是否能识别黑天鹅，颜色是特殊特征，不应该作为显著特征。方法1：丰富数据集，增大数据集，适当减少模型大小数据增强，预处理，保持训练集和测试集的同分布，无限接近现实世界的数据添加先验知识，增加特征的稀疏性：如L1,L2正则，relu，稀疏训练等网络结构上使用BN，保持网络每层数据的同分布，减少信息

任务类型分：图像分类：目标检测：图像分割：

我们这里以(320.4 MB) 的 tensorflow_gpu-2.3.0 为例子首先!pip install tensorflow-gpu==2.3.0 -i https://pypi.doubanio.com/simple安装完成后，基本上 whl 也就在 缓存文件夹里了本来 按照 这篇 通过 sudo find 就可以找到，但 华为云里 sudo 需要密码，find 的方法就不行了，那还有没有其他方法呢？还真有。通过下面 三步可以找回。一，先卸载 TF2.3!..

有一个很形象的展示这种技术是第九区外星机甲视频展示《第九区》外星机甲的高效移动性！这是人类科技所达不到的！记得第一次看第九区的时候，被这幅外星机甲的战斗力惊讶到了，超强的五官感受，甚至发挥想象力，可以借鉴动物界，植物界们的各种超强的感知能力，将他们通过强大的传感器技术，类脑计算技术融合，并且通过第三代脑机接口，从视频里看貌似比马斯克的要做手术的方式，它是（从主角痛苦的表情来看，应该是某种穿刺人体技术）直接通过穿刺人体和人类的神经系统建立连接，然后，机甲的碳基（或...

https://cloud.tencent.com/developer/article/1347755另外推荐一种调参记录的方式

进入https://nbviewer.jupyter.org/，将你需要访问的github网址输入，回车。

神经网络靠反向传播更新权重W才能使得我的模型越来越逼近我想要的模型，而这个过程，因为梯度下降是函数值下降最快的方向，因此，（ML常用的除了梯度下降还有牛顿方法，核方法，求逆，MS算法(胶囊网络号称没用梯度下降，就是用了这个的变体)。）1.什么是梯度下降法绝大部分的机器学习算法最后都是最优化一个目标函数，而梯度下降算法是寻找一个函数局部最优解的有效方法。顺着梯度下滑，找到最陡的方向，迈一小步，然后再找当前位，置最陡的下山方向，再迈一小步…以上那个图是二元的目标函...

googletensorflow关于数据可视化做得很好的一个网站。http://projector.tensorflow.org

盘点踩过的关于cv2 和PIL 图像读取的一些小坑_tanglion的博客-优快云博客 https://blog.youkuaiyun.com/tanglion/article/details/93898101PIL.Image与cv2读取图像时间的测试_WYXHAHAHA123的博客-优快云博客 https://blog.youkuaiyun.com/WYXHAHAHA123/article/details/87879704...

提示说 cuda 和 cudnn 版本不兼容问题出现时，本机已经是 CUDA v10.0.130 ,cudnn 忘记查了，反正 nvcc -V没有查出来。按照这篇方法解决的，去这里下 cudnn，记得开VPN，不然速度比较慢https://developer.nvidia.com/rdp/cudnn-archive...

12.4 深度学习框架对比 · Issue #332 · vieyahn2017/iBloghttps://github.com/vieyahn2017/iBlog/issues/332

作者总结的很好：https://blog.youkuaiyun.com/loveliuzz/article/details/79135583

总结一下： 在简单、固定的情形里面，传统算法或许能在计算资源消耗上优于深度学习，但是算法的表现最多只能是媲美训练perfect的深度学习模型；但是在复杂且干扰甚多的情形下，传统算法综合来说无法媲美深度学习模型。那么传统算法如何同深度学习结合了？我根据工作经验认为主要有以下几点：数据预处理， 深度学习算法的前期数据预处理阶段需要使用传统算法进行增强，比如对某些有“缺陷”的样本进行初步筛选，比如对有些你需要网络学习的特征进行增强处理等等。 在某些深度学习模型中提供参考，比如在某些condition G

传统方法中特征提取主要依赖人工设计的提取器，需要有专业知识及复杂的调参过程，同时每个方法都是针对具体应用，泛化能力及鲁棒性较差。深度学习主要是数据驱动进行特征提取，根据大量样本的学习能够得到深层的、数据集特定的特征表示，其对数据集的表达更高效和准确，所提取的抽象特征鲁棒性更强，泛化能力更好，并且可以是端到端的。缺点是样本集影响较大，算力要求较高。总体来讲，一种是人工认知驱动的方法，一种是数据驱动的方法。应用的话看场景，只不过深度学习一直在不断拓展其应用的场景，传统方法在某些时候扔具有一定价值。

fourier 变换问题来了为啥要deep呢？答案在这里 居然特别简单 deep了你有高频的震荡了你可以efficient 的locally逼近x^2 然后就有所有local的逼近多项式了local polynomial在holder和sobolev space是optimal的 我们就扩大了空间了【这篇paper发在很一般期刊上而且题目不吸引人我一直忘记 求好心人给reference感谢评论区Yarotsky D. Error bounds for approximations

新手也能彻底搞懂的目标检测Anchor是什么？怎么科学设置？[附代码]

都是卷积2个特点，局部连接，权重共享，但这个权重共享，每一个卷积核，比如，一个3x3×32 的卷积核，它每一个维度上的权重是共享的吗？非也，看这篇文章,有一段佳话：输入channel=32输出channel=64那么排列组合就是64*32，在这里实现了特征的组合，所以需要的权重数量是3x3×64×32卷积核中的数值会进行一个初始化，但是里面的数值其实就是权重值，标红的地方就表示，即使 同一个卷积核，每一个维度的卷积权重都是不一样的。后面更多拓展：理解分组卷积和深度可分..

我们假设在Resnet101后面加上一个全连接层，然后我们锁住前面Resnet的参数，不参加梯度更新，然后只更新最后一个全连接层的参数。当全连接层的loss足够小的时候，再释放所有的参数一起训练。这样Resnet的参数也会微微调整，这就是finetune；迁移学习transfer learning与微调fineTune的区别？一看就懂 - 知乎...

我将从Lenet 开始，以时间线为维度，从各大经典网络里抽取 每一个网络 提出的各种经典的网络结构，方法做个汇总，讲解，也当作一个自己的知识梳理。

一句话：全连接层的一个神经元对应一个输入。换句话说，全连接层要求固定的输入维度。

直观感受：参考：卷积神经网络中的卷积核真的仅仅在挪动？ - 数学推导详细https://www.cnblogs.com/xinxingwu/p/11220068.html图卷积神经网络(GCN)入门 - Jamest - 博客园https://www.cnblogs.com/hellojamest/p/11678324.html数学推导：留坑，待更新...

今天看到一段话，恍然大悟，老师之所以说 KNN 严格意义上来说不是 一个学习的过程，是因为KNN只计算欧氏距离，没有训练过程。NEMO之所以没说，其实他想表达的是，凡是没有反向传播的算法，都不算是一个学习的算法。学习：反向传播，更新 参数值。...

交叉验证法先将数据集D划分为k个大小相似的互斥子集(两两之间没有交集)，每个子集Di都尽可能保持数据分布的一致性，即从D中通过分层采样得到。然后每次用k-1个子集的并集做为训练集，余下的子集做为测试集，这样就可以获得K组训练/测试集，从而可以进行k次训练和测试，最终返回的是这个k个测试结果的均值。k通常的取值是10，其他常用取值为2，5，20等。这里使用KNN做为训练模型，采用十折交叉验证。...

参照 keras github 上的 译文：https://github.com/keras-team/keras-docs-zh/ 翻到最下面

softmax用于什么地方？首先 softmax 是用于分类的模型中，无论深度学习还是机器学习。是多分类的最后一层激活函数！记住，是激活函数！和Logistic回归关系也谈激活函数Sigmoid,Tanh,ReLu,softplus,softmax将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！为什么叫softmax？首先看看ma...

常见的损失函数，如交叉熵损失、平方误差损失、Hinge损失等并不是本文的重点，关于这些损失函数的介绍网上很多，可以参考如下几篇文章机器学习中的 7 大损失函数实战总结 常见的损失函数(loss function)总结 机器学习算法及其损失函数 损失函数loss大大总结本文的重点在于总结损失函数在应用上的一些trick和技巧损失函数总结-应用和trick - 知乎如何选择合适的损...

机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1-norm和ℓ2-norm，中文称作 L1正则化 和 L2正则化，或者 L1范数 和 L2范数。他们的作用：L1正则化 可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于 特征选择 L2正则化 可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合为了便于可视...

作者：鸫棟tian链接：https://www.zhihu.com/question/303922732/answer/547325762来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。首先，“直接训练一个小的CNN”这个说法并不是很恰当，因为你需要一个前提：已经有一个设计好了的小模型（VGG19 ResNet152这种大模型并不是石头里面蹦出来的，也是...

feature map可视化　　取网络的前15层，每层取前3个feature map。　　北汽绅宝D50 feature map：　　　　从左往右看，可以看到整个特征提取的过程，有的分离背景、有的提取轮廓，有的提取色差，但也能发现10、11层中间两个feature map是纯色的，可能这一层feature map数有点多了，另外北汽绅宝D50的光晕对feature map中光晕的影...