CaiDaoqing的博客

梯度消失、梯度爆炸的原因关于梯度消失和梯度爆炸的原因，这篇博客讲的很好：梯度消失和梯度爆炸的解答。建议先把BP算法推一遍，原因就很清楚了。小结一下：梯度消失根本原因在于反向传播中，求导系数若小于1，由于连乘效应，网络比较深的情况下，梯度会逐渐趋向于0。比如sigmoid函数求导得到的值，最大为0.25，在深层网络中很容易就会产生梯度消失。梯度爆炸根本原因在于参数 W 初始化值过大，求导过...

写在前面 第一次做物体识别的比赛，磕磕绊绊进了复赛。有几点感受想和大家分享一下：不论是遇到什么样的bug，不论你现在排在什么名次，一定要坚持到最后一天，相信水到渠成。单干太辛苦，组队以后，尝试更多的idea，和队友一起坚持到底。一个强大的开源库往往能够让你事半功倍。推荐商汤的mmdetection。赛题介绍本次比赛是利用X光图像及标注数据，监测图像是否包含危险品及其大致位置。初赛阶...

本文简单总结了以下三种比赛常用backbone(pytorch实现代码)：GoogLeNetResnetmobilenetGoogLenet（Inception系列）motivation: 保持网络结构的稀疏性的同时，又能利用密集矩阵的高计算性能。特点：引入inception module这里1x1卷积的作用：降维；减小参数；增加非线性。用小卷积核替代大卷积核，后面5x5...

写在前面 无论是物体检测，还是语义分割，笔者都是比赛中才开始了解各种网络架构，优劣对比也是参考的网络上各种评价，没有项目经验。所以，选择网络架构时局限性很大，初赛时，毫不犹豫的选择了网上点赞最多的YOLOv3；复赛时，先是选择了deeplabv3+调试，后来又转到了可操作性更高的Unet。建议大家做比赛时，一定要多调研（百度，知乎，Github…)，多交流（关注比赛群里的交流）。赛题介绍复赛...

这里介绍语义分割常用的loss函数，附上pytorch实现代码。Log loss交叉熵，二分类交叉熵的公式如下：pytorch代码实现：#二值交叉熵，这里输入要经过sigmoid处理import torchimport torch.nn as nnimport torch.nn.functional as Fnn.BCELoss(F.sigmoid(input), target)...

基于吴恩达deep learning 讲解中的推导，python实现了多层神经网络的前向传播和反向传播过程。代码如下：Note：这里最后一层没有经过sigmoid函数公式推导：z为每一层神经元的输入；a为每一层神经元的输出；w为权重；b为偏差。欢迎交流# -*- coding: utf-8 -*-"""last layer without sigmoid@author: cd...

论文链接： https://arxiv.org/abs/1612.03144pytorch实现代码： https://github.com/YiJiangYue/FPNmotivationFPN是针对物体检测中多尺度难题提出的一种解决方法，结合高层的语义信息和低层高分辨率的特征信息，在融合后的不同特征层检测尺度不一样的物体，提高了物体检测的准确率，尤其是小物体的检测。Approach三...

深度学习中常常会遇到模型过拟合的问题，这里简单总结一下过拟合的应对策略。过拟合的原因及表现过拟合的原因简单来说，就是模型的拟合能力远远高于需要解决的问题的复杂度，这就导致了在拟合出训练集数据正确规则的情况下，又拟合了噪声。表现为测试集的预测误差远远大于训练集的预测误差。（偏差小，方差大）应对策略更多的数据 原因： 让模型看到更多的数据，能够拟合更多的可能，测试集出现例外情况的概率就会更小...