xiaotiig的博客

它就是1个可视化工具，需要用pip进行下载；下载以后进行显示，就成了一个服务，可以通过浏览器输入ip地址进行访问；不仅适用于tensorflow，还适用于pytorch。[1] 日月光华老师的pytorch课程有介绍；[2] TensorBoard的最全使用教程：看这篇就够了 - 腾讯云开发者社区-腾讯云

1 模型的输出基本上分为3种情况，当然还有其它的：（1）分类：2分类，多分类，对应输出为一个预测向量，可以是1个，两个，多个（2）目标检测：对应二维矩阵m*n,m行代表有m个目标，n列代表n个特征预测值，x,y,类别类型。（3）语义分割：2 二分类sigmoid输出通道维度是1，用sigmoid输出通道维度是2，用softmax3 多分类多分类用softmax，同时注意算不算背景，多分类考虑不考虑其它，语义分割考虑不考虑背景，考虑的话需要在类别的基础上加1，比如20+1...

简单的理解就是，logits和probs的区别logits就是没有经过softmax的输出；probs是logits经过softmax的输出。【1】(10条消息) 深度学习中的 logits 、softmax，TensorFlow中的 tf.nn.softmax_cross_entropy_with_logits 、tf.nn.sparse_soft…对比_wwyy2018的博客-优快云博客_logits softmaxhttps://blog.youkuaiyun.com/wwyy2018/article/

1 Lenet7层：卷积+下采样+卷积+下采样+全连接+全连接+全连接可以很好的进行数字识别第一次运用卷积神经网络参考：(39条消息) 详解深度学习之经典网络架构（一）：LeNet_chenyuping333的博客-优快云博客_lenet网络结构详解https://blog.youkuaiyun.com/chenyuping333/article/details/821776771 Alexnet5层卷积+3层全连接参考：(39条消息) 图像识别-AlexNet网络结构详解_算法之美-优快云博

1 背景2 基础知识汇总(23条消息) 深度学习基础知识（人工智能）_Java_rich的博客-优快云博客https://blog.youkuaiyun.com/Java_rich/article/details/120701484?utm_medium=distribute.pc_relevant_t0.593797&depth_1-utm_source=distribute.pc_relevant_t0.5937973 深度学习框架4 数据集5 数据预处理6 模型构建6.1 常见模型结构

深度学习训练模型技巧1 训练过程经常遇到的问题1.1 损失值为nan1.2 训练效果差1.2.1 损失值很低，正确率很高，但miou很差1.2.2 损失值来回变，准确率或者miou忽大忽小1.2.3 损失值大于0.00011.3 识别效果差1.3.1 欠拟合1.3.2 过拟合1.3.3 样本类型太少1.4 速度慢1.4.1 没用gpu1.4.2 参数确实太多了2 学习率3 批次量4 其它一些超参数5 其它优化1 训练过程经常遇到的问题1.1 损失值为nan（1）损失函数写错了（2）未进行归一化或者标

学习 3-12 8180阅读493点赞169评论1、前言这将会是一个非常非常长的专栏，写这个专栏目的是让更多人可以自助解决自己的问题。最近也慢慢忙起来了，很多时候我并没有办法很有耐心的解决一些问题，而且很多问题我甚至无法解决，不同的问题有不同的产生原因，也是希望很多同学可以通过这个专栏，把自己遇到的一些问题给解决掉。所以我会建议所有学习我视频的同学，看看这个专栏。2、我的学习经验我曾经是一名自动化专业的学生，非科班，大学时期基本上学过C语言，从某种意义上来讲，我的基础是非常差的，但是所有人都是从基础

（1）RPN（2）（Feature Pyramid Networks for Object Detection (FPN)）图像金字塔特征

查看下面的博客：https://blog.youkuaiyun.com/itluojie/article/details/104905049https://www.it610.com/article/1282197367646339072.htm

keras.applications.vgg16.VGG16(include_top=True, weights='imagenet', input_tensor=None, input_shape=None, pooling=None, classes=1000)

几种不同类型的卷积1 深度可分离卷积2 分组卷积3 空洞卷积4 反卷积（转置卷积)1 深度可分离卷积参考：https://blog.youkuaiyun.com/qq_27825451/article/details/102457264本文参考尹国冰的博客—卷积神经网络中的Separable Convolution2 分组卷积参考下面的文章：https://www.cnblo

主要为了降维，将1N 转换为1K，K远小于N方便之后的分类函数分类

数据增强2 数据增强类别2种（1）离线增强。预先进行所有必要的变换，从根本上增加数据集的规模（例如，通过翻转所有图像，保存后数据集数量会增加2倍）。（2）在线增强，或称为动态增强。可通过对即将输入模型的小批量数据的执行相应的变化，这样同一张图片每次训练被随机执行一些变化操作，相当于不同的数据集了。3 数据增强技术4 tf的数据增强api...

这里的优化只是指降低损失值，和模型优化不一样，这里只关注小的方面，不关注模型结构等。1 目标优化的目标在于降低训练损失，只关注最小化目标函数上的表现深度学习问题中，我们通常会预先定义一个损失函数。有了损失函数以后，我们就可以使用优化算法试图将其最小化。在优化中，这样的损失函数通常被称作优化问题的目标函数（objective function）。依据惯例，优化算法通常只考虑最小化目标函数。2 为什么要优化2.1 局部最优对于目标函数f(x)，如果f(x)在x上的值比在x邻近的其他点的值更小，那么

本文只是片面，具体这方面有很多研究，比如101层的resnet等

每层的w不能一样，要取随机值，b一般为0

激活函数：

损失函数

图像大小1 一般大小都是固定的2 卷积池化层对输入图像没要求3 全连接层对输入图像有要求4 Fast R-CNN解决这个问题1 一般大小都是固定的对于一个分类或者检测模型，输入图像的大小是固定的，227227，224224，606*608.2 卷积池化层对输入图像没要求分析整个网络就会发现，卷积层和池化层是对网络的输入没有要求的，输入多大他们都一样，对输入图像有要求的只有全连接层。3 全连接层对输入图像有要求全连接层的输入就是前面相连的层的输出，如果训练好的模型给全连接层的输入为5个神经元，那之

1、构建和理解一个网络，就是那8部分，最重要的是前向传递，前向传递搞懂了就都懂了，剩下反向传播最重要的就是损失值的计算了。2、目标检测的训练比较复杂，一般分为2步骤，先训练主干分类网络，之后再训练检测网络。3、学习的时候（1）先看综述,列出学习目标，一个网络一个网络的去看（2）先看视频（3）再看博客加深了解（4）再看论文（5）找到别人源码，正确运行（6）一步一步理解源代码（7）自己构建源码（8）发布博客记录自己的认识的整个过程。...

相加是把对应特征图上的数加起来拼接是Concatenate，比如在YOLOv3的主干网络Darknet-53中用到了拼接

学过机器学习的人都听过两个概念：分类与回归，特别的，在YOLO v1中，作者也提到了YOLO之前的物体检测方法通常都转变为了一个分类问题，如 R-CNN、Fast R-CNN 等等。而YOLO将检测变为一个 回归问题。那么这两个概念有什么联系，有什么区别呢？写这篇博客，参考过很多人的简介，不同的人给的回复也不同， 在这里，我把他们汇总一下。重点来啦重点来啦！！！分类和回归二级目录三级目录1、分类与回归是干嘛的？2、二者有什么区别1.输出不同2.目的不同3.损失函数不同4.结果不同3、场景应用1.分

输入图像大小尺寸不一致先来看一个问题：对于传统的CNN（如AlexNet和VGG），当网络训练好后输入的图像尺寸必须是固定值，同时网络输出也是固定大小的vector or matrix。如果输入图像大小不定，这个问题就变得比较麻烦。有2种解决办法：（1）从图像中crop一部分传入网络（2）将图像warp成需要的大小后传入网络两种办法的示意图如图14，可以看到无论采取那种办法都不好，要么crop后破坏了图像的完整结构，要么warp破坏了图像原始形状信息。（3）roi pooling这是faste

目标检测中的一个算法：Non-Maximum Suppression就是需要根据score矩阵和region的坐标信息，从中找到置信度比较高的bounding box。对于有重叠在一起的预测框，只保留得分最高的那个。（1）NMS计算出每一个bounding box的面积，然后根据score进行排序，把score最大的bounding box作为队列中首个要比较的对象；（2）计算其余bounding box与当前最大score与box的IoU，去除IoU大于设定的阈值的bounding box，保留小的

衡量一个模型的好坏，首先需要确定指标体系，目前常用的指标有如下几个：TPFPTNFN准确率精度召回率APMAPIOUMIOURP曲线：PR = Precision vs Recall信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate)，召回率也叫查全率，准确率也叫查准率，概念公式...

就是一个特定作用的卷积核，对应一个算法

网络容量越大，拟合越好，但是训练难度越大，耗时越大。

交叉验证（Cross Validation），有的时候也称作循环估计（Rotation Estimation），是一种统计学上将数据样本切割成较小子集的实用方法。交叉验证的基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set or test set),首先用训练集对分类器进行训练,再利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标。...

全卷积神经网络中包含的都是卷积层，根据任务需要可以适当保留池化层，为了完成密集预测，卷积神经网络中的全连接层必须被卷积层替代，这也是全卷积神经网络最大的特点之一。

用多个激活函数，取出最大的值，而不是一个激活函数（深度学习（二十三）Maxout网络学习_hjimce的专栏-优快云博客_maxout https://blog.youkuaiyun.com/hjimce/article/details/50414467）

在训练过程中，按照一定的比例将网络中的神经元进行丢弃，可以防止模型训练过拟合的情况。

缩小图像（或称为**下采样（subsampled）或降采样（downsampled））的主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。放大图像（或称为上采样（upsampling）**或图像插值（interpolating））的主要目的是放大原图像,从而可以显示在更高分辨率的显示设备上。...

欠拟合：就是神经网络还没有学习好数据，不能很好识别。过拟合：就是对训练数据拟合的太好了，几乎完全拟合了，再给个稍微不一样的就不认识了。

感受野（Receptive Field）的定义是卷积神经网络每一层输出的特征图（feature map）上的像素点在输入图片上映射的区域大小。再通俗点的解释是，特征图上的一个点对应输入图上的区域，两层33的卷积核卷积操作之后的感受野是55，其中卷积核（filter）的步长（stride）为1、padding为0。...

目录1 标准化2 批标准化BN3 正则化Regularization1 标准化2 批标准化BNBN层位于卷积层之后，激活层之前，让特征图上的值转换到以0为均值，1为标准差之间，可以让激活函数起作用，防止神经元死亡。一开始对数据进行了标准化，但是经过每一层运算之后，数据就不是这种分布了，比如0-1之间等等，就需要重新把它们换回到这种分布中。来解决梯度消失和梯度爆炸。3 正则化Regularization就是在损失值的地方多加一个额外的值，防止过拟合....

就是卷积计算后得到的图层，是经过特征提取的，叫特征图。

池化和卷积类似，但是计算方法不一样，分为最大池化和平均池化，就是对所有相应位置的数求最大或平均值，一般用来降维，将高和宽。而1*1卷积中的降维降的是通道数的维度。池化的参数未为0下采样：通过池化等方式减少特征图的宽和高就叫下采样。...

参数量和运算次数计算：输入卷积：Win * Hin * Cin卷积核：k * k输出卷积：Wout * Hout * Cout参数量：（即卷积核的参数）k * k * Cin * Cout或者：(k * k * Cin + 1) * Cout （包括偏置bias）计算量：k * k * Cin * Wout * Hout * Cout...

（1）超参数是训练神经网络过程中配置的参数，每次训练时，这些参数是固定的，不是训练过程中更新的参数，比如学习率、神经网络层数等。(2)泛化性：模型对未经训练样本的识别能力(3)下采样层：就是池化层，缩减数据维度（4）...